Word2Vec: skip-gram y CBOW

La lección anterior, sobre representaciones densas, dejó la tabla montada y vacía: la matriz de embeddings $\mathbf{E}$ tiene forma, tamaño y una geometría que ya sabes leer, y ni un número puesto. La hipótesis distribucional afirma dónde vive el significado y no dice cómo calcularlo. Word2Vec fue el primero que salvó ese hueco a escala real, en 2013, y llega por donde no se espera: no calcula las coordenadas de nadie, las deja caer como residuo de otra tarea.

La tarea es un juego de adivinar. Toma el perro ladra en el patio de la escuela, tapa todo menos perro y pregunta qué había alrededor; un modelo que responda ladra antes que escuela ha aprendido algo, y para responder necesita números con los que puntuar candidatos. Esos números están en la matriz $\mathbf{E}$, que entra en un modelo con valores al azar y este los va corrigiendo hasta que acierta —eso es entrenar—; luego se tira el modelo y se guarda $\mathbf{E}$. Word2Vec es esa idea convertida en técnica, y son tres piezas: una tarea de predicción sobre ventanas de texto, dos maneras de resolverla —skip-gram y CBOW— y una simplificación que hace viable el cálculo: el muestreo negativo. Queda decidir con qué parámetros se puntúa y qué quiere decir «acertar» medido en una cuenta que, escrita con cuidado, sale impagable.

Desliza por el corpus una ventana de $m$ tokens a cada lado: el del medio es el centro, los de los lados su contexto, y sale un par por cada vecino. Con $m = 2$, el centro patio de la frase de arriba produce cuatro: con en, el, de y la. El corpus crudo ya trae los pares dentro: la promesa de la hipótesis distribucional, cobrada.

Predecir el contexto: el objetivo del skip-gram

Fija la ventana en $m$ y recorre el corpus. El skip-gram toma cada posición $t$, con su token central $w_t$, y pide predecir cada uno de sus vecinos por separado. Acertar se escribe como una pérdida: un número, calculado de los parámetros y del corpus entero, que mide lo mal que lo hace el modelo; corregirlos hasta que acierte es hacerlo pequeño. La del skip-gram es la log-verosimilitud negativa media de los pares:

donde $t$ recorre las $T$ posiciones del corpus y el signo menos da la vuelta al criterio: la probabilidad del par real hay que subirla, así que $\mathcal{L}$ hay que bajarla. Falta lo esencial: qué es $P(c \mid w)$.

Predecir es elegir entre candidatos, y elegir exige puntuarlos. Hace falta un número que diga cómo de bien encajan el centro $w$ y un candidato a contexto $c$. Word2Vec toma el más simple entre dos vectores, su producto escalar: crece cuando apuntan en direcciones parecidas y cuando son largos. Llamémoslo la afinidad del par.

Por ahora solo tenemos la tabla $\mathbf{E}$ con un vector por entrada; la afinidad de un par sale de leer dos de sus filas. Eso fuerza a cada entrada a usar el mismo vector de centro y de candidato, y el defecto se ve en el par de una entrada consigo misma: $\mathbf{e}_w^{\top}\mathbf{e}_w = \lVert\mathbf{e}_w\rVert^2$, positiva y tanto mayor cuanto más largo sea el vector. El coseno de la lección anterior lo anulaba al dividir por las normas; en la afinidad no hay división. Y el corpus pide lo contrario: perro casi nunca cae dentro de su propia ventana, y hay que poder puntuarla baja. Pero bajar $\lVert\mathbf{e}_w\rVert^2$ obliga a encoger $\mathbf{e}_w$, y eso baja a la vez todas las afinidades en las que $w$ hace de centro.

De ahí la decisión de diseño que define a Word2Vec: cada entrada recibe dos vectores de $d_{\text{model}}$ coordenadas, el $\mathbf{e}_w$ para cuando actúa de centro y uno nuevo, $\mathbf{u}_c$, para cuando actúa de contexto. Viven en dos tablas de la misma forma, $\mathbf{E}, \mathbf{U} \in \mathbb{R}^{\lvert V \rvert \times d_{\text{model}}}$, con la fila $i$ de $\mathbf{U}$ igual a $\mathbf{u}_{w_i}^{\top}$ tal como la de $\mathbf{E}$ es $\mathbf{e}_{w_i}^{\top}$. La afinidad pasa a ser $\mathbf{u}_c^{\top}\mathbf{e}_w$, y la de una entrada consigo misma, $\mathbf{u}_w^{\top}\mathbf{e}_w$, puede bajar sin que $\mathbf{e}_w$ se encoja.

Leer afinidad como probabilidad pide volverla positiva y que todas sumen 1; el softmax hace las dos:

La función exponencial conserva el orden, así que el candidato con más afinidad se lleva la probabilidad más alta. Y guarda esto del denominador: está ahí para que las $\lvert V \rvert$ afinidades sean una distribución de probabilidad sobre $V$, y para nada más.

Los parámetros son $\theta = (\mathbf{E}, \mathbf{U})$, y $\mathcal{L}$ no depende de nada más. Para minimizarla usamos el descenso de gradiente, que veremos en detalle en el bloque 2, sobre el perceptrón multicapa.

El gradiente $\nabla_{\theta}\mathcal{L}$ indica la dirección de máximo crecimiento de la pérdida. Por eso, en cada paso $t$, actualizamos los parámetros en sentido opuesto,

donde el subíndice $t$ cuenta pasos del descenso, no posiciones del corpus, y $\eta$ es la tasa de aprendizaje, el tamaño del paso. Elegirla es cosa de aquel bloque: demasiado grande y el descenso diverge.

CBOW: la misma idea con los papeles cambiados

CBOW (continuous bag of words) invierte la pregunta: adivina el centro desde el contexto. Los $2m$ vecinos entran promediados en un solo vector,

y la probabilidad del centro es el mismo softmax con $\bar{\mathbf{e}}_t$ en el lugar de $\mathbf{e}_w$. El promedio pierde el orden: la bolsa de palabras de la lección sobre TF-IDFBlock 1 · Lesson 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información. en pequeño, y de ahí el nombre.

Las dos se usan: CBOW va más rápido —una predicción por posición en lugar de $2m$— y el skip-gram le saca más partido a las entradas raras, que pierden al quedar promediadas. Lo que comparten es lo que importa ahora: un softmax sobre $V$.

La suma que hace impagable el objetivo

Cuenta las operaciones de una sola probabilidad. El numerador es un producto escalar, $d_{\text{model}}$ multiplicaciones; el denominador, uno por cada entrada del vocabulario:

Quince millones por un solo par. Con $2m = 4$ pares por token y un corpus de $T = 10^{10}$, salen $4 \times 10^{10}$ pares, y una pasada entera cuesta $6 \times 10^{17}$ operaciones, y el entrenamiento da varias. Ninguna máquina iba a pagar eso por un embedding, ni en 2013 ni ahora.

Mira dónde está el gasto, porque de ahí sale la salida. Que ladra puntúe alto junto a perro cuesta 300 multiplicaciones; los otros 14 999 700 se van en una suma cuyo único trabajo es que las probabilidades sumen uno. Pagas por una distribución sobre 50 000 entradas que no vas a usar: al terminar tiras el modelo y te quedas con $\mathbf{E}$.

Así que el objetivo exacto se abandona, y conviene decirlo con todas sus letras, porque es un movimiento que el curso repetirá —lo verás en el bloque 5, con la atención—: cuando la cantidad correcta es impagable, se sustituye por otra que se pueda pagar y tenga óptimos parecidos, y luego se comprueba si el cambio ha estropeado algo. Lo que no se hace es fingir que la segunda es la primera.

Muestreo negativo: de repartir probabilidad a distinguir pares

La sustitución cambia la pregunta. En vez de «dada perro, ¿qué probabilidad tiene cada una de las 50 000 entradas de acompañarla?», pregunta: «este par elegido al azar, ¿sale del corpus o me lo he inventado?».

Hacen falta pares falsos, y se fabrican: al par real $(w, c)$ se le añaden $n_{\text{neg}}$ pares $(w, c_j)$ con el contexto sacado al azar. El número lo fijó el artículo original probando: de $5$ a $20$ con corpus pequeños, de $2$ a $5$ con los grandes. Toma $n_{\text{neg}} = 5$. A cada par se le calcula su probabilidad aplastando su afinidad al intervalo $(0,1)$ con la función logística

La pérdida de un par real y sus negativos es

y se lee de izquierda a derecha. El primer término baja cuando $\sigma(\mathbf{u}_c^{\top} \mathbf{e}_w)$ sube hacia $1$: cuando el centro se acerca al contexto real. En el segundo, $\sigma(-x)$ es la probabilidad de «no», y cada sumando baja cuando la afinidad con un contexto inventado se hace negativa. Acercarse a uno, alejarse de los otros cinco.

Los negativos no se sacan al azar uniforme, sino de

con $f_w$ la frecuencia del tipo $w$ en el corpus. El exponente $3/4$ comprime la distribución sin aplanarla, entre dos extremos malos: con $1$ los negativos serían las palabras vacías de la lección sobre la bolsa de palabrasBlock 1 · Lesson 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información., con $0$ entradas rarísimas, y contra ninguna cuesta acertar. No hay desarrollo detrás; es el valor que funcionó.

Ahora la cuenta, el motivo de todo esto. Un paso toca el centro, el contexto real y los $n_{\text{neg}}$ negativos, un producto escalar por vector:

frente a los 15 millones de antes. El factor es $\lvert V \rvert / (n_{\text{neg}} + 1) \approx 8\,333$, y la pasada entera baja de $6 \times 10^{17}$ a $7.2 \times 10^{13}$: de imposible a una tarde. Fíjate en qué ha desaparecido y qué no: el coste por par deja de depender de $\lvert V \rvert$, y los $4 \times 10^{10}$ pares siguen ahí.

La concesión, en voz alta: esto no es el softmax calculado más rápido, es otra pérdida, y subir $n_{\text{neg}}$ no la hace converger a $\mathcal{L}$. Que sus óptimos coloquen los vectores donde nos sirven se comprueba mirando los vecinos que salen. El artículo trae un segundo atajo con el mismo fin, el softmax jerárquico, que esta lección no recorre.

El paso necesita $\partial \mathcal{L}_{\text{par}} / \partial \mathbf{e}_w$, y sale de dos derivadas que dicen, de paso, adónde empuja cada término.

Entrenar un skip-gram diminuto en NumPy

La celda entrena de verdad, en pequeño: 800 tokens de un corpus de juguete por plantillas, 21 entradas, $d_{\text{model}} = 12$, $n_{\text{neg}} = 5$, cuatro pasadas. La actualización es el gradiente del desplegable: g = s - etiquetas, donde s es la salida de la sigmoide aplicada a la afinidad de cada par y etiquetas es el vector con 1 para el par real y 0 para los negativos. Restárselo escalado a cada vector es el descenso gradiente. La tasa de aprendizaje arranca en $0.05$ y decae hasta casi cero: los últimos pasos afinan en lugar de saltar. Ejecútala y mira los vecinos de perro antes y después.

Antes de entrenar, el vecino más cercano a perro es establo con $0.68$: puro ruido. Cuatro pasadas después son ratón, gato y caballo, por encima de $0.97$; los de carne son las otras tres comidas y los de patio, los otros tres lugares. Nadie ha dicho que se parezcan: solo han entrado pares de ventanas y un $1$ o un $0$ por par.

Dos cosas sin maquillar. El corpus es artificial y los animales son intercambiables por construcción: de ahí unos cosenos que rozan el $1$ y con texto de verdad no salen. Y niña se queda con la y ve: aparece en un solo molde, y es el molde lo aprendido.

Pon n_neg = 0 y ejecuta otra vez. La pérdida se desploma hasta $0.02$ —sin negativos, decir que sí a todo es perfecto— y los vecinos se vuelven basura: perro con en y con el, todo cerca de todo. Los negativos no eran solo el ahorro: sin algo contra lo que empujar, la pérdida baja y la representación no existe.

Comprueba tu intuición

Cinco preguntas: qué se conserva al terminar, cuántos pares da una ventana, dónde estaba el gasto, qué cambia el muestreo negativo y qué hace el exponente $3/4$.

La matriz $\mathbf{E}$ ya no está vacía, la deuda con la que terminó la lección anterior queda saldada. Queda una peculiaridad. Word2Vec no ve el corpus, ve una ventana cada vez, y que perro y gato se parecen lo concluye tropezándose con miles de ellas. Pero eso ya está contado antes de entrenar nada: una pasada anotando cuántas veces cada entrada cayó dentro de la ventana de otra da una tabla de $\lvert V \rvert \times \lvert V \rvert$ coocurrencias donde la fila de perro y la de gato ya se parecen. Word2Vec nunca llega a escribirla.

Aprovecharla es la lección sobre GloVe y los límites de los embeddings estáticos: GloVe (global vectors) construye esa tabla y busca los vectores que la explican, otro objetivo con resultados de la misma familia. Y con las dos técnicas sobre la mesa, esa lección cierra el bloque cobrando lo que esconde la palabra «estáticos»: cada entrada tiene un vector, uno solo, para siempre.