Representaciones densas: la idea central

Un embedding es, por ahora, un nombre. La lección anterior, sobre bolsa de palabras y TF-IDF (term frequency–inverse document frequency), terminó de agotar lo que se puede hacer con un eje reservado para cada entrada del vocabulario —contar, pesar, comparar documentos— y planteó la salida: en lugar de un eje para cada entrada, tomar unas pocas coordenadas, muchas menos que $\lvert V \rvert$, en las que todas las entradas tienen un valor. Lo que aquella lección no dijo es qué objeto es ese, cómo se guarda, qué relación tiene con el one-hot al que sustituye y de dónde salen sus números.

El vocabulario de subpalabras de la lección sobre tokenizaciónBlock 1 · Lesson 2Tokenización: palabras, caracteres, subpalabrasAntes de decidir qué vector le corresponde a una unidad hay que decidir cuál es la unidad. Esa elección fija el tamaño del vocabulario, la longitud de las secuencias y qué significa que una palabra sea nueva. tiene $\lvert V \rvert = 50\,000$ entradas. La otra cifra es cuántas coordenadas darle a cada una: 300, un valor habitual que no fija ninguna teoría —se elige probando, y en uso van desde unas decenas hasta unos miles—, así que nada de lo que sigue depende de que sean 300 exactamente. Con un eje por entrada, lo que un modelo aprenda de estupenda no le sirve de nada al encontrarse con magnífica: son dos ejes distintos y ahí se acaba la historia. En cuanto las dos comparten coordenadas eso deja de ser cierto, y deja de serlo para las 50 000 entradas a la vez. El precio son los números de la tabla, $50\,000 \cdot 300 = 15$ millones, y quién los decide es la pregunta con la que termina la lección.

Antes de la definición, un mapa. Cada punto es una palabra del español colocada por sus dos coordenadas; elige coche, manzana o gato en el desplegable y mira qué se enciende alrededor.

Dos advertencias, porque el mapa promete más de lo que puede dar. Sus coordenadas las he puesto yo a mano para el curso: no salen de ningún modelo entrenado. Y un embedding de verdad tiene cientos de dimensiones; lo que sobrevive al aplastarlo hasta dos es la vecindad, que es lo que hay que mirar aquí. El botón de la analogía enseña algo más fuerte —que también las direcciones significan— y esta lección no lo cobra: eso ocupa el resto del bloque.

Un vector corto para cada entrada del vocabulario

Fija un número $d_{\text{model}}$ mucho menor que $\lvert V \rvert$ y asigna a cada entrada del vocabulario un vector de esa dimensión, con coordenadas reales cualesquiera. Ese vector es el embedding de la entrada $w$, y lo escribimos $\mathbf{e}_w$:

El vector one-hot era disperso: $\lvert V \rvert$ coordenadas de las cuales una sola es distinta de cero. Este es denso: pocas coordenadas y todas ocupadas. El cambio de nombre marca un cambio de idea. En one-hot, la coordenada $j$ respondía a una pregunta con sentido —«¿es esta la entrada que ocupa la posición $j$ del vocabulario?»— y por eso una sola coordenada bastaba para identificar la entrada. Aquí ninguna coordenada responde por separado a nada que sepamos formular: quien sitúa a la entrada es $\mathbf{e}_w$ completo, sus $d_{\text{model}}$ coordenadas a la vez.

Guardar $r$ vuelve a ser guardar una tabla, y esta vez la tabla cabe en memoria. Con el vocabulario ordenado como en la lección del one-hotBlock 1 · Lesson 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada., la matriz de embeddings es

una fila por entrada y $d_{\text{model}}$ columnas, con la fila $i$ igual a $\mathbf{e}_{w_i}^{\top}$, usando traspuesta porque los vectores son columnas en este curso.

Buscar el vector de una entrada parece entonces un acceso a memoria y no una operación matemática. Las dos cosas coinciden, y verlo cuesta una línea. Multiplica por la matriz el vector one-hot de la lección del one-hotBlock 1 · Lesson 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada. y mira la coordenada $j$ del resultado:

porque el único sumando que no se anula es el de $k = i$, donde el one-hot vale $1$. Coordenada a coordenada, lo que sale es la fila $i$:

El one-hot no desaparece, entonces: se convierte en el índice con el que se lee una fila. En la práctica nadie construye las 50 000 coordenadas para multiplicarlas —se escribe E[i]—, y aun así la operación que se está haciendo es un producto de matrices. Un texto entero hereda la cuenta: aquella lección convertía $T$ tokens en $\mathbf{X} \in \mathbb{R}^{T \times \lvert V \rvert}$, una fila one-hot por posición, y multiplicar por $\mathbf{E}$ da

la misma frase escrita con 300 columnas en lugar de 50 000.

Las tres exigencias de la lección del problema de representar el lenguajeBlock 1 · Lesson 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque. siguen cumplidas. La dimensión es fija, $d_{\text{model}}$ para toda entrada. El determinismo lo da que $\mathbf{E}$ se congele al terminar el entrenamiento. Y la totalidad la sigue dando <UNK>, que tiene su fila como cualquier otra entrada, igual que en la lección sobre vocabulario y palabras fuera de vocabularioBlock 1 · Lesson 3Vocabulario, frecuencia y el problema OOVLas palabras de un corpus no se reparten por igual: unas pocas lo copan y la mayoría aparece una sola vez. De esa forma salen el tamaño del vocabulario, lo que cuesta recortarlo y el token que recoge todo lo que queda fuera..

Lo que sí cambia es el precio de la tabla. Son

frente a los $\lvert V \rvert^{2}$ del one-hot: 15 millones frente a 2 500 millones, unos 60 MB en lugar de 10 GB. La comparación es real y no es el argumento: la tabla del one-hot es la identidad y no se guarda nunca. Lo que se gana es que el vector que el sistema recibe tenga 300 coordenadas y no 50 000, todas con información.

Lo que compra que dos entradas puedan estar cerca

Con vectores densos vuelve a haber geometría, y esta vez no la hereda de un orden alfabético que no sabe nada de significados. La medida es la de la lección anterior, la similitud coseno, que allí comparaba documentos y aquí compara entradas:

Una cosa cambia al cambiar de objeto. Los pesos TF-IDF nunca eran negativos, así que el coseno vivía en $[0, 1]$; las coordenadas de un vector denso son reales cualesquiera, el producto escalar puede salir negativo y el coseno recorre $[-1, 1]$ entero. El cero deja de ser el mínimo y pasa a significar «sin relación», con los negativos apuntando en direcciones opuestas.

El contraste con el one-hot cierra el argumento. Allí, dos entradas distintas daban producto escalar $0$ y distancia $\sqrt{2}$ siempre, un único valor sin excepción. Aquí el coseno puede valer cualquier cosa, y qué valga depende de los números de $\mathbf{E}$: la equidistancia se ha roto, y romperla era la condición para todo lo demás.

Con eso, el argumento que aquella lección no podía usar queda disponible: las representaciones de dimensión alta se salvan porque tienen vecindad —dos fotografías que difieren en un píxel son parecidas—, y el one-hot no podía acogerse a eso porque en él no hay vecinos. Con vectores densos los hay: si $\mathbf{e}_{\textit{niño}}$ y $\mathbf{e}_{\textit{niña}}$ apuntan casi en la misma dirección, la ventana la niña juega en la plaza deja de ser territorio desconocido para un modelo que solo vio el niño juega en la plaza. Por qué una entrada parecida produce una salida parecida es cosa del bloque 2, sobre el perceptrón multicapa; lo que hace falta aquí es que la representación permita el parecido.

Y aquí la concesión, que es grande. Nada de lo anterior dice que las coordenadas de $\mathbf{E}$ signifiquen algo: rellena la matriz con números al azar y tendrás vectores densos de 300 dimensiones, con vecinos equivocados. La densidad hace posible que estupenda y magnífica queden cerca; no las acerca. Quien las acerca son los números, y no los ha puesto nadie todavía.

La hipótesis de la que salen los números

Son 15 millones y no hay forma humana de escribirlos: fijar a mano las 300 coordenadas de una sola entrada ya es dudoso —¿cuánto vale la tercera coordenada de harina?—, y hay 50 000 entradas. Los tiene que poner un procedimiento automático a partir de texto, y para que exista uno hace falta antes una hipótesis sobre dónde está, en un corpus, la información del significado.

La hipótesis distribucional es esa hipótesis: dos entradas que aparecen rodeadas de las mismas entradas tienden a significar cosas parecidas. Se cita casi siempre en la frase de Firth —you shall know a word by the company it keeps— y se comprueba con un par de huecos en español. En «sirvió una copa de ___», «una botella de ___ en la mesa» y «el ___ estaba frío» encajan vino y zumo, y no encajan martillo ni lunes. Nadie ha dicho qué significan vino y zumo; lo que se ha mirado es con qué se juntan.

Lo que compra la hipótesis es un cambio de pregunta. «¿Qué significa esta entrada?» no se responde contando nada. «¿Con qué otras entradas aparece?» se responde recorriendo el corpus, sin que nadie tenga que anotarlo antes: el texto crudo ya trae la respuesta dentro. El significado deja de ser algo que introducir a mano y pasa a ser algo que se mide.

Conviene ver también lo que la hipótesis no dice, porque de ahí saldrán los límites de este bloque. No dice que dos entradas con el mismo contexto sean sinónimas: frío y caliente aparecen en contextos casi idénticos y significan lo contrario, y una representación construida así los coloca cerca. Y no es un teorema, sino una apuesta empírica que vale lo que valgan sus resultados. Resulta que valen mucho.

Vectores densos en NumPy: la búsqueda, el coseno y los vecinos

La celda monta una matriz $\mathbf{E}$ de ocho entradas en español con $d_{\text{model}} = 4$ y comprueba sobre ella lo que acabas de desarrollar. Sus números los he puesto yo a mano —con 50 000 entradas sería imposible, y ese es el problema abierto—, y a esta escala sirven para ver la mecánica. Ejecútala y mira tres cosas: que el producto por el one-hot devuelve la fila, qué aspecto tiene la matriz de cosenos frente a la del one-hot, y cuántos números ocupa cada tabla.

La búsqueda sale exacta: o @ E y E[i] son el mismo vector coordenada a coordenada, que es lo que el desarrollo prometía. La matriz de cosenos es lo que había que ver. coche con automóvil da $0.99$ y con camión $0.97$; con harina da $-0.48$, un valor negativo que en one-hot no podía existir; gato con <UNK> da $0.02$, que es «nada que ver» escrito en números. Debajo, la misma cuenta sobre one-hot devuelve un cero en cada casilla fuera de la diagonal: el «un solo valor» de la lección del one-hotBlock 1 · Lesson 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada., ahora al lado de una matriz con relieve.

Un detalle sin maquillar: el segundo vecino de gato es automóvil, con $0.30$. Es ruido, y está ahí porque me he inventado los números: con cuatro coordenadas y ocho entradas no hay sitio para más. Con 300 coordenadas y un corpus detrás, ese segundo vecino sería otro animal.

Una prueba de treinta segundos. Copia la fila de coche en la de harina, cambiándole un par de decimales, y ejecuta otra vez: harina se va con los vehículos, sin que nadie haya tocado el vocabulario ni la forma de la tabla. La representación no está en la tabla, está en sus números.

Comprueba tu intuición

Cuatro preguntas sobre lo que acabas de obtener: qué calcula el producto por el one-hot, qué compra la densidad, qué le pasa al coseno al cambiar de objeto y qué afirma exactamente la hipótesis distribucional.

El objeto ya está definido, y con él la mitad de lo que la lección del one-hot dejó pendiente: 300 coordenadas en lugar de 50 000, todas con información, y una geometría donde dos entradas pueden estar cerca. La otra mitad sigue abierta: la matriz $\mathbf{E}$ son 15 millones de números, y todo lo que has visto vale igual para una $\mathbf{E}$ llena de ruido. La hipótesis distribucional dice dónde mirar —en las compañías de cada entrada—, pero mirar no es un procedimiento: de contar contextos a fijar 300 coordenadas hay un salto que nadie ha dado todavía.

Darlo es la lección sobre Word2Vec. En lugar de contar contextos, se le pide a un modelo que los prediga, y se usan como embedding los números que le permiten acertar: el skip-gram predice el contexto a partir de la entrada, y CBOW (continuous bag of words) hace lo contrario. Las dos tropiezan con la misma piedra en cuanto se escriben con cuidado, y es una piedra grande: repartir probabilidad entre las entradas posibles obliga a sumar sobre las 50 000, una vez por cada par (entrada, contexto) del corpus. Quitar esa suma de en medio ocupa media lección.