GloVe y los límites de los embeddings estáticos

La lección anterior, sobre Word2Vec, dejó $\mathbf{E}$ completa y, al final, una tabla de coocurrencias descrita y sin estrenar. De ella parte GloVe (global vectors), publicado en 2014. Lo que la tabla no trae decidido es qué hay que pedirle, y ahí empieza el objetivo. Un conteo bruto informa de poco: banco sale muchísimas veces junto a el y de ahí no se sigue nada.

Lo que distingue a una entrada de otra no es con quién aparece, sino en qué proporción. Esa proporción decide la forma entera del objetivo, y de paso explica algo que el bloque lleva dos lecciones enseñando sin cobrar: lo que ocurre al pulsar el botón del mapa de la lección sobre representaciones densasBlock 1 · Lesson 6Representaciones densas: la idea centralDar a cada entrada del vocabulario unas pocas coordenadas reales, todas compartidas y ninguna reservada, rompe la equidistancia del one-hot y deja la tabla de la representación en una matriz que sí cabe. Los 15 millones de números que la llenan no los escribe nadie a mano: la hipótesis distribucional dice de dónde salen..

Restar hombre a rey y sumar el resultado a mujer cae sobre reina. Lo que afirma el dibujo no es que rey y reina estén cerca —esa vecindad ya la daba aquella lección—, sino algo más fuerte: que la diferencia entre dos vectores significa por sí misma y reaparece intacta en otro par. La advertencia es la de entonces: las coordenadas las he puesto yo a mano, así que el mapa enseña la forma de la afirmación, no su prueba.

Que las diferencias signifiquen no puede ser un accidente: si restar vectores da algo con sentido, el objetivo tuvo que pedirles que reprodujeran algo que ya funciona por resta. Restar cancela lo compartido y deja lo que separa; en los conteos, la operación que hace eso es dividir. Toma hielo y vapor y, en lugar de mirar con qué aparece cada una, divide una frecuencia por la otra, entrada por entrada. Estas son las cifras que publicaron los autores de GloVe sobre un corpus de 6 000 millones de tokens:

Las probabilidades sueltas confunden frecuente con característico: agua sale con hielo más que sólido. La razón, no: mide el contraste con vapor, no la frecuencia. Vale mucho más que $1$ cuando $k$ es del mundo de la primera, mucho menos cuando es del de la segunda, y se pega a $1$ cuando no distingue: moda, que no sale con ninguna, y agua, que sale con las dos por igual. La frecuencia base se cancela al dividir.

Qué les piden a los vectores las razones de coocurrencia

Llamemos $X_{ik}$ a la casilla de la tabla de coocurrencias: el conteo de la entrada $k$ dentro de la ventana de la entrada $i$, con la misma $m$ de la lección anterior. Es simétrica y tiene $\lvert V \rvert^{2}$ casillas. Escribamos también $\mathbf{e}_i$ y $\mathbf{u}_k$ por $\mathbf{e}_{w_i}$ y $\mathbf{u}_{w_k}$, los vectores de centro y de contexto de aquella lección.

Sumando una fila entera sale el total de vecinos de $i$, y con él la probabilidad de que, mirando una ventana centrada en $i$, aparezca $k$:

La tabla de hielo y vapor señalaba la razón entre dos de estas probabilidades. Pedírsela a los vectores se escribe con una $F$ todavía sin decidir:

Dos decisiones la dejan casi fijada. Lo que separa a $i$ de $j$ a la derecha es un cociente, y a la izquierda lo que la función recibe de los dos es su diferencia $\mathbf{e}_i - \mathbf{e}_j$, la del mapa de arriba. Y para convertirla junto con $\mathbf{u}_k$ en un solo número está el producto escalar de la lección sobre la bolsa de palabrasBlock 1 · Lesson 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información.. Con las dos, $F$ es una función de una variable real:

Queda una $F$ que convierta una resta en su argumento en una división en su valor, y esa propiedad la determina: la exponencial.

Con $F = \exp$ la igualdad se cumple en cuanto cada probabilidad se empareja con su exponencial,

porque el cociente de la derecha pasa a ser el de dos exponenciales. Tomando logaritmos, $\mathbf{u}_k^{\top}\mathbf{e}_i = \log P(k \mid i)$, y restando esa igualdad para $i$ y para $j$ aparece lo que la intuición prometía:

La diferencia de dos vectores, proyectada sobre un tercero, es el logaritmo de la razón de la tabla. Ahí empiezan a significar las direcciones: la analogía del mapa es esta línea leída al revés.

Falta dejarla en una forma que se pueda ajustar. Sustituyendo $P(k \mid i) = X_{ik} / X_i$,

y ese $\log X_i$ tiene arreglo barato: no depende de $k$, así que es una constante por cada entrada $i$. Se le da nombre, $b_i$, y se pasa al otro lado. Con eso la igualdad deja de ser simétrica —$X_{ik} = X_{ki}$, pero el lado izquierdo ya no—, así que un segundo escalar $\tilde{b}_k$ para la entrada que hace de contexto la devuelve:

Son dos números reales más por entrada, uno en cada papel, y lo ganado no es cosmético: la condición de partida hablaba de ternas $(i, j, k)$ y esta, de un par. Una ecuación por casilla de la tabla.

El peso que impide que los pares más frecuentes decidan por todos

Ese sistema no tiene solución exacta: son $\lvert V \rvert^{2}$ ecuaciones —2 500 millones con el vocabulario de 50 000 entradas del bloque— contra unos 30 millones de incógnitas. Se pide entonces lo posible, en el sentido de los mínimos cuadrados, y antes hay que arreglar dos cosas.

La primera es que la mayor parte de la tabla son ceros —dos entradas cualesquiera no coinciden jamás en una ventana— y $\log 0$ no existe. Las vacías se dejan fuera, que es además lo que abarata el ajuste: se paga por los pares vistos y no por $\lvert V \rvert^{2}$.

La segunda es que las celdas no valen lo mismo. Una con $X_{ik} = 1$ es casi ruido, y una con $X_{ik} = 10^{6}$ —dos palabras vacías de la lección de la bolsa de palabrasBlock 1 · Lesson 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información.— no debería decidir sola dónde van los vectores. El arreglo es un peso que dependa del propio conteo:

Crece mientras el conteo es pequeño, así que un par visto una vez pesa poco, y se aplana a partir de $x_{\max}$, así que los frecuentísimos no arrastran el ajuste. El artículo toma $x_{\max} = 100$ y $\alpha = 3/4$, el mismo exponente del muestreo negativo de la lección anterior y encontrado igual: probando. La pérdida de GloVe es entonces

con parámetros $\theta = (\mathbf{E}, \mathbf{U}, b, \tilde{b})$ y nada más. Minimizarla es descenso de gradiente, y cada paso necesita el gradiente de $\mathcal{L}$.

La diferencia con la lección anterior no está donde parece: las dos ajustan una función de $\mathbf{u}^{\top}\mathbf{e}$ a una estadística de coocurrencia, y lo que cambia es cuándo se cuenta. Word2Vec cuenta mientras aprende; GloVe cuenta primero y luego ajusta sin volver a abrir el corpus.

Un vector, uno solo, para siempre

El bloque tiene ya dos formas de llenar $\mathbf{E}$, y comparten un rasgo que ninguna menciona. Mira el sujeto de esa suma: $i$ recorre las entradas del vocabulario. Hay una fila de $\mathbf{E}$ por entrada, y una sola.

banco es una entrada del vocabulario. En un corpus del español aparece en saqué el dinero del banco y en me senté en el banco del parque, y la tabla de coocurrencias no separa las dos: acumula en la misma fila los vecinos de una y de otra. Nada en $X_{ik}$ recuerda de qué ocurrencia venía cada conteo, porque los conteos se hacen sobre el tipo, y el tipo es la misma cadena. Al ajuste le queda un compromiso, y la pérdida dice cuál: la fila que la minimiza explica la suma de los dos perfiles, que no se parece a ninguno.

No es un defecto de GloVe. Word2Vec lo tiene por la misma razón, y el one-hot de la lección de la maldición de la dimensionalidadBlock 1 · Lesson 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada. y el TF-IDF (term frequency–inverse document frequency) de la lección de la bolsa de palabrasBlock 1 · Lesson 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información. lo tenían antes. Y no viene solo: la lección de las representaciones densasBlock 1 · Lesson 6Representaciones densas: la idea centralDar a cada entrada del vocabulario unas pocas coordenadas reales, todas compartidas y ninguna reservada, rompe la equidistancia del one-hot y deja la tabla de la representación en una matriz que sí cabe. Los 15 millones de números que la llenan no los escribe nadie a mano: la hipótesis distribucional dice de dónde salen. anotó otro límite de la misma familia, y es que frío y caliente aparecen en contextos casi idénticos, así que la hipótesis distribucional los coloca cerca y la representación no tiene con qué separarlos. El tercero es el de siempre: una entrada que no estaba en el corpus no tiene fila, y hay que devolverle la de <UNK>, como en la lección sobre palabras fuera de vocabulario (out-of-vocabulary, OOV)Block 1 · Lesson 3Vocabulario, frecuencia y el problema OOVLas palabras de un corpus no se reparten por igual: unas pocas lo copan y la mayoría aparece una sola vez. De esa forma salen el tamaño del vocabulario, lo que cuesta recortarlo y el token que recoge todo lo que queda fuera..

Los tres son el mismo hecho escrito de tres maneras, y se lee en el arranque del bloque: la lección sobre el problema de representar el lenguajeBlock 1 · Lesson 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque. pidió una función

y discutió despacio qué debía cumplir. Lo que ata aquí no es ninguna de aquellas condiciones: es el dominio. Si el argumento de $r$ es una entrada del vocabulario, su valor no puede depender de la frase en la que aparece, porque la frase no entra en la función. Estático quiere decir eso.

Contar los pares y ajustar GloVe en NumPy

La celda cuenta y ajusta. El corpus son 680 tokens de plantillas, con banco plantado en dos mundos; he dejado $d_{\text{model}} = 3$ adrede: con más coordenadas la tabla se ajusta casi exacta y la pérdida no se ve trabajar. La tasa de aprendizaje decae hasta casi cero, como en la lección anterior. Ejecútala y mira tres cosas: la columna de razones, los vecinos del ajuste y las tres filas del final.

La tabla ocupa 432 celdas, frente a los 3 840 pares que la ventana genera sobre el mismo texto. Y sus razones reproducen el patrón de hielo y vapor: cliente vale $3.00$ a favor de hipoteca, niña vale $0.33$, y banco y en dan $1.00$ exacto porque salen igual con las dos.

El ajuste baja de $0.55$ a $0.02$ por celda y los vecinos son los que tienen que ser: préstamo, dinero y ahorro para hipoteca; columpio, seto y sendero para estanque. Esos $1.00$ redondos son el precio de las plantillas: dentro de cada grupo las entradas ocupan huecos idénticos, y sus filas también.

Las tres últimas filas son el asunto de la lección: la de banco vale $8$ en dinero, en hipoteca, en árbol y en seto, y, separados los sentidos, es casilla a casilla la suma de dos filas sin nada que ver: entre ellas el coseno vale $0.00$ sobre las palabras con contenido, y $0.55$ contando las vacías, lo único que comparten. La compartida se queda a $0.71$ de cada una, a mitad de camino, y es esa la que GloVe explica con un vector.

Sube d_model a $8$ y ejecuta otra vez: la pérdida por celda cae a la sexta parte y los vecinos son los mismos. Más coordenadas ajustan mejor la misma tabla; no le sacan lo que no tiene.

Comprueba tu intuición

Cuatro preguntas: cuánto vale una razón, qué se ajusta, qué hacen el peso y la condición del sumatorio, y qué hace falta para que banco tenga dos vectores.

El bloque cierra así su encargo: hay una $r$ que convierte texto en vectores, dos procedimientos para sus números y una geometría donde el parecido significa algo. Sin resolver queda la palabra del título. Cada entrada sale de aquí con un vector y con uno solo, así que el banco cerró a las dos y el banco estaba mojado reciben la misma fila de $\mathbf{E}$, y ninguna de las dos frases tiene forma de pedir otra. Que la representación dependa del contexto es el hilo que atraviesa lo que viene y se cobra al final, en el bloque 5, sobre el Transformer.

Antes hay que construir lo que va a consumir esos vectores, y todavía no existe. La lección sobre el problema de representar el lenguajeBlock 1 · Lesson 1El problema de representar el lenguajeUna red solo opera con números reales; el texto no lo es. Este es el enunciado preciso del problema del que vive todo el bloque. supuso una función que recibe un vector y devuelve una respuesta, y dejó dicho que cómo es por dentro era asunto del bloque siguiente. El bloque 2, sobre el perceptrón multicapa, empieza por ahí: su lección sobre la neurona artificial define la pieza más pequeña que hace ese trabajo —recibe un vector, lo pondera y devuelve un número— y la suposición se acaba.