Tokenización: palabras, caracteres, subpalabras

La lección anterior, dedicada al problema de representar el lenguaje, terminó con una cuestión pendiente: allí escribimos el vocabulario $V$ como si sus elementos vinieran dados. No vienen dados. Esa lista hay que construirla, y construirla obliga a decidir antes dónde termina una unidad de texto y dónde empieza la siguiente —una decisión que nadie toma por ti y que el idioma no trae resuelta—. A eso se le llama tokenización, y a cada unidad resultante, un token.

Tokenizar es elegir dónde cortar, y hay tres respuestas naturales. Cortar por palabras, que es como lees tú. Cortar por caracteres, que es como está escrito el fichero. O cortar por trozos de palabra, por subpalabras: una solución intermedia que puede parecer poco intuitiva al principio, pero que hoy emplean la mayoría de los modelos de lenguaje modernos. El explorable de abajo corta una misma frase con las tres y pone, junto a cada corte, cuántos tokens le hacen falta para escribir ese mismo texto. Escribe una frase tuya y compara esos tres números.

Cada corte produce un vocabulario distinto y secuencias de longitudes muy variables. Eso es lo que hay que retener antes de seguir: no hay una tokenización verdadera esperando a ser descubierta.

El compromiso entre el tamaño del vocabulario y la longitud de la secuencia

Fijemos primero el alfabeto $\Sigma$: el conjunto de caracteres que pueden aparecer. Para el español son las letras con sus acentos, la ñ, los dígitos, la puntuación y el espacio.

Ese conjunto tiene una trampa que conviene desactivar antes de contar nada. Unicode admite dos escrituras para la misma letra acentuada: la ñ puede ser un único carácter, o una n seguida de una tilde que se dibuja encima de la anterior. En la pantalla se ven igual; para $\Sigma$ son cosas distintas, y una de las dos ocupa dos posiciones en lugar de una. Por eso el texto se normaliza antes de tokenizar, a la forma en que cada letra acentuada es un solo carácter —la forma de normalización C (Normalization Form C, NFC). Sin ese paso, dos textos idénticos a la vista producen tokenizaciones distintas, y el vocabulario acaba conteniendo tildes sueltas.

Un texto no es un carácter, sino una sucesión de ellos, y para hablar de «todas las sucesiones que se pueden escribir con un conjunto de símbolos» hay una notación estándar que usaremos a partir de aquí. Se escribe con un asterisco: $\Sigma^{*}$ es el conjunto de todas las cadenas finitas formadas con caracteres de $\Sigma$, incluida la cadena vacía. Tanto ñ como niño como El niño juega. son elementos de $\Sigma^{*}$; el asterisco no dice nada sobre la longitud, solo que es finita. Cuando la cadena vacía estorba se escribe $\Sigma^{+}$, que es lo mismo excluyéndola. Y el asterisco vale para cualquier conjunto, no solo para el alfabeto: $V^{*}$ son las secuencias finitas de tokens de $V$.

Con eso, un texto es un elemento de $\Sigma^{*}$ y un tokenizador es una función que lo convierte en una secuencia de elementos del vocabulario:

Cada token es, por tanto, una cadena no vacía de caracteres, y el vocabulario $V$ no se declara a mano: lo induce $\tau$ al recorrer un corpus, la colección de textos que se reúne de antemano para construirlo.

De ahí sale algo que el resto del bloque da por sabido. Cada entrada de $V$ es un token, y qué sea depende de $\tau$: con un tokenizador de palabras las entradas son palabras enteras, y con uno de subpalabras son trozos de palabra, de modo que dámelo puede ocupar tres. Una entrada del vocabulario no es, por tanto, lo mismo que una palabra.

A $\tau$ le pedimos dos cosas. Determinismo, por la misma razón que en la lección anterior, sobre representar el lenguaje: si $\tau$ cortara hoy distinto que ayer, lo que el modelo aprendió dejaría de corresponderse con lo que recibe. Y reconstrucción: concatenar los tokens tiene que devolver el texto de partida, salvo el convenio que se haya adoptado con los espacios. Es lo que separa cortar de limpiar. Un tokenizador que de paso baja todo a minúsculas o borra las tildes ya no divide el texto, lo altera: después de eso papá y papa son la misma unidad, y la distinción se perdió antes de que el modelo llegara a verla. Todo lo que $\tau$ descarta, el modelo no volverá a verlo jamás.

Ahora el compromiso, que se deriva de contar caracteres. Toma un corpus con $C$ caracteres en total sumando todos sus documentos, y aplícale una tokenización $\tau$, que lo parte en $T$ tokens $u_1, \dots, u_T$. Denotaremos por $\lvert u \rvert$ la longitud, en caracteres, del token $u$. Los tokens son trozos del propio texto, así que si $\tau$ conserva todos los caracteres —la condición de reconstrucción sin convenios— sus longitudes suman el texto entero:

Si descarta los espacios, la suma se queda un poco por debajo de $C$, y lo verás en la celda.

Llamemos $\bar{\ell}$ a la longitud media de un token:

El sumatorio que aparece ahí es el mismo que acabamos de igualar a $C$, así que

Esta igualdad resume la primera mitad del compromiso. El texto fija $C$, así que $T$ y $\bar{\ell}$ no pueden variar de manera independiente. Si eliges tokens más cortos, disminuye $\bar{\ell}$ y la secuencia contiene más tokens; si eliges tokens más largos, ocurre lo contrario. Con una tokenización por caracteres, $\bar{\ell} = 1$ y $T = C$. Con una tokenización por palabras en español, $\bar{\ell}$ ronda los cinco caracteres, de modo que la secuencia es aproximadamente cinco veces más corta.

¿Y el otro extremo del compromiso, el tamaño de $V$? Si fijamos una longitud $\ell$, el número de cadenas distintas que pueden formarse sobre un alfabeto $\Sigma$ es

Es decir, el conjunto de candidatos a formar parte del vocabulario crece exponencialmente con la longitud de las unidades. El idioma solo utiliza una pequeña fracción de esas combinaciones, la inmensa mayoría de las cadenas de cinco letras no son palabras del español, pero la tendencia es la misma: cuanto más largas son las unidades elegidas, mayor es el espacio del que puede extraerse el vocabulario y, en consecuencia, mayor tiende a ser este.

Fijar el vocabulario y dejar que el algoritmo elija las unidades

La solución a este compromiso es la fila central de la tabla, la de las subpalabras, y su celda de $\lvert V \rvert$ dice en qué consiste: elegido de antemano. En lugar de dejar que el tamaño del vocabulario sea una consecuencia de la tokenización, se fija por adelantado —por ejemplo, 30 000 tokens— y se deja que un algoritmo decida qué unidades lo compondrán. El más extendido es el byte-pair encoding (BPE): empieza tratando cada carácter como una unidad y va fusionando repetidamente el par de unidades adyacentes más frecuente del corpus, hasta llegar al tamaño fijado. Las secuencias frecuentes acaban fusionadas en una sola pieza y las raras se quedan partidas en trozos que sí son frecuentes. Por eso una palabra que el algoritmo no vio jamás sigue teniendo representación: se escribe con piezas conocidas. Los detalles de BPE quedan fuera de esta lección; el explorable de arriba muestra su resultado, que es lo que hace falta aquí.

Dos tokenizadores en Python, sobre el mismo corpus

La igualdad $T = C / \bar{\ell}$ conviene verla como números y no como álgebra. La celda tokeniza un corpus corto en español de las dos formas extremas, por palabras y por caracteres, y para cada una imprime $T$, el tamaño del vocabulario y la longitud media. Mira tres cosas: que $T \cdot \bar{\ell}$ reproduce $C$, que los tamaños de vocabulario van en el sentido contrario a $T$, y las dos últimas líneas. Ejecútala tal cual y después cambia el corpus por un texto tuyo.

Con caracteres, $T \cdot \bar{\ell}$ da $C$ exactamente. Con palabras se queda por debajo, y la diferencia son los espacios: el tokenizador los tiró, así que ya no se puede reconstruir el texto a partir de los tokens. Es la condición de reconstrucción rota a cambio de una comodidad, y por eso los tokenizadores de subpalabras marcan de algún modo dónde estaban los espacios. El ## que ves en el explorable marca que el trozo continúa la palabra anterior —la ausencia de espacio—, y con eso el espacio se reconstruye.

La penúltima línea muestra el corte sobre una frase con clíticos y contracciones: Dámelo sale entero, del y al también, aunque cada una sea de por sí dos palabras (de el, a el). El tokenizador no lo sabe, y no necesita saberlo mientras sea coherente. La última línea es más incómoda: de los cinco tokens de una frase nueva y perfectamente corriente, tres no están en $V$.

Comprueba tu intuición

Cuatro preguntas sobre lo que acabas de ver: el compromiso entre vocabulario y longitud, qué gana cortar por debajo de la palabra, la trampa que el español tiene reservada a los tokenizadores de caracteres, y una cuenta a mano.

Con la tokenización ya fijada, el vocabulario deja de ser una abstracción y pasa a ser una lista concreta de tokens. Esa lista siempre es finita, porque se construye a partir de un corpus que alguien recopiló en algún momento. Y aquí reaparece la exigencia de totalidad de la lección sobre el problema de representar el lenguajeBlock 1 · Lesson 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque.: $r$ tenía que estar definida para cualquier palabra que llegue. La última línea de la celda de código enseña el agujero sin adornos, criptomoneda no está en $V$, y sobre ella $r$ no vale nada, porque ni siquiera está definida.

Quedan entonces tres preguntas encadenadas, y son las tres de la lección siguiente. Cuántos tokens distintos aparecen de verdad en un corpus, y con qué frecuencia. La respuesta tiene una forma muy característica que decide todo lo demás. Cuáles de ellos entran en $V$: guardarlos todos es caro, porque cada uno necesita su propia representación $r(w)$, pero cada token que dejes fuera es texto que el modelo ya no puede leer. Y qué hacer cuando llega uno de los que quedaron fuera. Eso es la lección sobre vocabulario, frecuencia y el problema de las palabras fuera de vocabulario (out-of-vocabulary, OOV).