Vocabulario, frecuencia y el problema OOV

La lección anterior, dedicada a la tokenización, terminó dejando $V$ convertido en una lista finita y, por serlo, con una limitación: tarde o temprano llega un token que no está en ella. Entender el alcance de esa limitación exige mirar el corpus desde otro ángulo. Saber qué tokens aparecen es la mitad de la información; la otra mitad, la que determina cuántos acabarán fuera del vocabulario, es con qué frecuencia aparece cada uno.

Esa distribución de frecuencias decide qué tokens merece la pena conservar, cuáles es razonable dejar fuera y, en consecuencia, cada cuánto se encontrará el modelo con palabras fuera de vocabulario (out-of-vocabulary, OOV). Tiene además una forma muy poco igualitaria, y es la misma en cualquier corpus y en cualquier idioma. Esa forma —no el tamaño del corpus, no la lengua— es la que fija cuánto texto llegas a cubrir con un vocabulario que quepa en memoria.

Cuenta los tokens de cualquier texto en español y aparece siempre la misma escena. En la cabeza, un puñado de piezas que salen sin parar: de, la, que, el, en, y la puntuación. En la cola, una multitud que aparece una sola vez en todo el texto y no vuelve: bibliotecario, criptomoneda, monasterio. En el corpus de juguete con el que trabajarás en esta lección, 237 tokens en total, el más frecuente sale 19 veces y 65 de las 104 cadenas distintas salen exactamente una vez.

Es una sola observación, y tira en dos direcciones opuestas. Las cadenas frecuentes son tan pocas que guardarlas todas sale casi gratis; las raras son tantas que guardarlas todas es imposible. Y la parte incómoda es que casi todo lo que te interesa de una frase vive en la cola: los nombres propios, los términos técnicos, las palabras que se inventaron el mes pasado.

La forma que tienen las frecuencias de un corpus

Contar exige separar dos cosas que hasta ahora iban juntas. Aplica $\tau$ a un corpus y obtienes una secuencia de $T$ tokens; cada uno es una ocurrencia, y las repeticiones cuentan cada vez. Agrúpalos por cadenas iguales y obtienes $M$ tipos: las cadenas distintas, contadas una sola vez. En la escuela de la plaza hay cinco tokens y cuatro tipos, porque la sale dos veces. Siempre $M \leq T$, y en un corpus real $M$ es muchísimo menor.

Ordena ahora los tipos del más frecuente al menos frecuente y llama $f_i$ a la frecuencia del que ocupa la posición $i$, de modo que $f_1 \geq f_2 \geq \dots \geq f_M$. Por construcción, las frecuencias suman el corpus entero:

Ese orden revela una regularidad empírica que aparece en todos los idiomas medidos, la ley de Zipf: la frecuencia de un tipo es aproximadamente inversa a su posición,

con $a$ una constante que depende del corpus. El segundo tipo sale la mitad de veces que el primero, el décimo una décima parte. Es una aproximación, no un teorema —falla en las primeras posiciones y en la cola— pero responde la pregunta que importa: cuánto texto compras con cada tipo que añadas.

Llamemos cobertura de los $k$ tipos más frecuentes, y la escribiremos $\text{cob}(k)$, a la fracción de ocurrencias del corpus que esos $k$ tipos explican:

Sustituyendo la aproximación de Zipf, tanto el numerador como $T$ se vuelven sumas de $1/i$:

La constante $a$ se cancela, y esas sumas son sumas parciales de la serie armónica, que crecen como un logaritmo: $\sum_{i=1}^{k} 1/i \approx \ln k + \gamma$, con $\gamma \approx 0.577$. Por tanto

Por qué la suma de 1/i crece como un logaritmo

La función $1/x$ es decreciente, así que el rectángulo de base $1$ y altura $1/i$ queda por debajo del área bajo la curva entre $i-1$ e $i$, y por encima del área entre $i$ e $i+1$.

Suma la segunda desigualdad sobre todos los $i$ y la primera desde $i = 2$ —el término $i = 1$ vale $1$ y se saca aparte— y los rectángulos quedan atrapados:

$$\int_{1}^{k+1} \frac{dx}{x} \;\leq\; \sum_{i=1}^{k} \frac{1}{i} \;\leq\; 1 + \int_{1}^{k} \frac{dx}{x}.$$

Los dos extremos valen $\ln(k+1)$ y $1 + \ln k$, así que la suma es $\ln k$ más algo que se queda entre $0$ y $1$. Ese «algo» converge, y su límite es la constante de Euler-Mascheroni $\gamma \approx 0.577$. Lo que la lección usa es la parte que crece: el logaritmo.

Y aquí está el resultado que decide el tamaño del vocabulario. Pide una cobertura $p$ y despeja $k$. Como $\ln M$ ronda $11.5$ para un corpus con cien mil tipos, $\gamma$ es despreciable frente a él y la ecuación $\ln k \approx p \ln M$ deja

Ese exponente lo decide todo: la cobertura no se paga en proporción, se paga en potencias. Con $M = 100\,000$ tipos, cubrir la mitad del corpus cuesta $M^{0.5} \approx 316$ tipos, el 90 % cuesta $M^{0.9} \approx 31\,600$, y el 99 %, $M^{0.99} \approx 89\,000$. Los últimos nueve puntos de cobertura casi triplican el vocabulario.

Qué cuesta cortar el vocabulario

El vocabulario es entonces una decisión con dos precios enfrentados. Elegir $V$ como los $k$ tipos más frecuentes —o, desde otro ángulo, exigir una frecuencia mínima $f_i \geq m$— es elegir dónde se para el intercambio.

El precio de subir $k$ lo pone la lección sobre el problema de representar el lenguajeBloque 1 · Lección 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque.: la representación es una función $r : V \to \mathbb{R}^{d}$, y una función así se almacena como una tabla con una fila por entrada del vocabulario y $d$ columnas. Son

Con $d = 300$, un vocabulario de 30 000 tipos son nueve millones de números; uno de 100 000, treinta millones. La tabla crece con $\lvert V \rvert$ y nada la comprime: cada entrada es independiente de las demás.

El precio de bajar $k$ es el texto que queda al otro lado del corte, la fracción $1 - \text{cob}(k)$ de las ocurrencias. Medida así parece pequeña, y ese es el problema: la misma decisión, medida sobre tipos, deja fuera a la mayoría del idioma. Con $M = 100\,000$ y $k = 31\,600$ pierdes el 10 % de las ocurrencias y el 68 % de los tipos. Y no son un 68 % cualquiera: los tipos que caen son los de la cola —nombres propios, tecnicismos, palabras nuevas—, aquello que hace que una frase diga algo en lugar de otra cosa. Un corte que suena barato en tokens está tirando justo la parte informativa.

El token que recoge lo que queda fuera

Queda la tercera pregunta: qué hacer cuando, ya en producción, llega una palabra de las que se quedaron fuera. El arreglo estándar es añadir al vocabulario una entrada más que no corresponde a ninguna palabra concreta y que las absorbe a todas, escrita <UNK> por unknown, desconocida:

y, antes de representar nada, cada palabra pasa por un filtro que la deja intacta o la sustituye:

Con eso, $r(\tilde{w})$ está definida para cualquier palabra que llegue. Esa era la totalidad, la primera de las tres exigencias de aquella lección sobre el problema de representar el lenguaje, y es la que este arreglo recupera. Lo que se paga es la inyectividad: criptomoneda y bibliotecario pasan a ser el mismo objeto. Aquella lección ya avisó de que ibas a renunciar a ella a propósito, y este es el sitio donde ocurre por primera vez.

Queda nombrar lo que cuesta. La proporción de texto que acaba en esa entrada es la tasa OOV, y se mide en las dos direcciones que esta lección lleva separando. Toma un texto nuevo, $w_1, \dots, w_{T'}$, y llama $U$ al conjunto de sus tipos, de modo que $\lvert U \rvert = M'$; la prima marca lo medido sobre ese texto y no sobre el corpus original. Entonces

A la izquierda hay posiciones: si criptomoneda sale diez veces, aporta diez. A la derecha hay cadenas distintas, y esa misma palabra aporta una. Miden la misma decisión y dan números muy distintos. En un corpus real, un vocabulario razonable deja una tasa sobre tokens del 2 % o el 3 %, y una sobre tipos del 30 % o el 40 %. La primera es la que se cita, porque es la que tranquiliza. Es también la que engaña, y de dos maneras.

Una es aritmética. La tasa se mide por token, pero el texto se lee por frases, y una frase se salva solo si todos sus tokens están en $V$. Con veinte tokens por frase y una tasa OOV del 2 %, eso ocurre con probabilidad $0.98^{20} \approx 0.67$: una de cada tres frases contiene alguna palabra que el modelo no puede leer. La otra manera es que los tokens que caen no son cualesquiera, sino los de la cola, los que cargan con lo que la frase dice. Un 2 % de tokens perdidos no es un 2 % de daño.

Contando tipos, tokens y cobertura en Python

La celda tokeniza un corpus corto en español con el mismo por_palabras de la lección anterior, cuenta tipos y ocurrencias, recorre la cobertura y termina aplicando un corte a cinco frases que el corpus no contenía. Ejecútala y mira tres cosas: qué proporción de los tipos aparece una sola vez, cómo sube $\text{cob}(k)$ al principio y cómo se atasca después, y las dos tasas OOV, que no se parecen.

La cobertura sube deprisa y luego se atasca, que es la forma logarítmica vista en números: los ocho primeros tipos cubren la tercera parte del corpus, y hacen falta cincuenta para llegar a tres cuartos. La cola es larga y barata de tirar, medida en ocurrencias.

Mira despacio las dos últimas partes. La tasa sobre tipos supera a la tasa sobre tokens en los dos vocabularios, tal como dice la teoría, y el corpus de juguete exagera ambas: con 237 tokens, hasta el vocabulario sin recortar deja fuera un tercio de lo que llega, mientras que uno real bajaría la tasa sobre tokens al 2 % o el 3 %. Lo que no cambia con el tamaño es qué palabras caen. En las frases reescritas siguen en pie los artículos y las preposiciones, y desaparecen criptomoneda, bibliotecario, manuscritos y monasterio: la cuarta frase se queda en un esqueleto que ya no dice nada.

Una prueba de treinta segundos. Cambia V = set(frec) por V = {w for w, _ in frec.most_common(50)} y ejecuta otra vez: En con mayúscula pasa a desconocida mientras en sigue dentro. Es un tipo distinto, no un fallo —la lección anterior ya avisó de que cortar no es limpiar, y el precio se paga aquí, en el recuento.

Comprueba tu intuición

Cuatro preguntas sobre lo que acabas de obtener: qué cuesta un corte, qué cuesta la cobertura, qué recupera y qué gasta el token desconocido, y qué significa de verdad una tasa OOV pequeña.

El vocabulario ya es una lista cerrada: $k$ tipos elegidos por frecuencia, más una entrada al final que recoge todo lo demás. A esa lista, la $V'$ de más arriba, la llamamos $V$ de aquí en adelante, con <UNK> como una entrada más. Con eso, $r$ vuelve a estar definida sobre cualquier texto, que era la condición de partida. Pero de $r$ solo conocemos qué recibe y qué devuelve. Sigue haciendo falta decidir qué vector concreto le toca a cada una de esas $\lvert V \rvert$ entradas, y la lección del problema de representar el lenguajeBloque 1 · Lección 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque. dejó dicho lo que no vale: con $d = 1$ el orden de la recta real inventa parecidos entre palabras que no los tienen.

La salida más directa es no elegir ningún parecido. Si ninguna entrada del vocabulario debe estar más cerca de otra que del resto, dale a cada una su propio eje: una dimensión por entrada, un uno en su posición y ceros en el resto. Esa representación existe, se llama one-hot encoding y no afirma nada sobre el idioma, que es justo lo que le pedíamos. Su factura acaba de quedar escrita en esta lección: $\lvert V \rvert$ vale decenas de miles, y esa es la dimensión que tendrían los vectores. La lección sobre one-hot encoding y la maldición de la dimensionalidad mira esa factura de cerca.