La idea de atención: mirar hacia atrás

«Que el decoder mire la entrada entera» suena a solución y todavía no es una arquitectura. La lección anterior, sobre el cuello de botella del vector de contexto, midió lo que cuesta resumir y dejó a mano el material desaprovechado: los $T_x$ estados que el encoder calcula y nadie vuelve a tocar. Falta todo lo demás. ¿Qué recibe exactamente el decoder en el paso $i$, quién lo construye y con qué material?

Antes de la primera pregunta hay un obstáculo de forma, y es el que decide la respuesta. Los estados del encoder son tantos como tokens tenga la frase: seis para una, treinta para otra. El decoder, en cambio, tiene un tamaño decidido antes de ver ninguna —sus matrices de pesos tienen un número fijo de columnas—, de modo que ponerle los estados en fila y multiplicarlos por una matriz choca contra el mismo muro que la lección sobre por qué el perceptrón multicapa falla en secuenciasBlock 3 · Lesson 1Por qué el MLP falla con secuenciasPoner los vectores de los tokens en fila mete el orden dentro de la entrada, y cobra dos cosas por ello: una longitud fija que hay que truncar o rellenar, y una primera capa partida en tantos bloques como posiciones, cada uno ajustado sólo por lo que cae en la suya. Una red que aprende «no» en las cuatro primeras posiciones acierta el 0.500 cuando «no» aparece en la quinta.: una entrada cuya longitud cambia no cabe en una matriz cuya forma no cambia. Leerlos todos tendrá que significar otra cosa. Tendrá que significar combinarlos en un solo vector del tamaño que el decoder ya esperaba, y entonces lo único que queda por decidir es cuánto de cada uno.

Cuánto de cada uno, y no cuál. La diferencia es lo que hace que la idea funcione: si el paso $i$ tuviera que señalar un estado, elegir sería una decisión discreta, y ya veremos que eso tiene un precio que no se puede pagar. Repartir, en cambio, se hace con números. El paso que escribe book vierte casi todo de libro y unas gotas del resto; el que escribe very vierte de muy. Cada paso se lleva su propia mezcla, y a ese reparto —una cantidad por posición de la entrada, distinta en cada paso de la salida— es a lo que llamamos atención.

El explorable trae la pareja de la lección sobre la arquitectura encoder-decoderBlock 4 · Lesson 1La arquitectura encoder-decoderLa arquitectura de dos redes de la lección anterior, llevada a una tarea de verdad: traducir. Aparecen dos vocabularios en lugar de uno, un token de fin de secuencia que el propio modelo predice para decidir dónde termina su salida, y la lectura que sostiene el resto del bloque: el decoder no devuelve una traducción, define una probabilidad sobre todas —un producto de distribuciones, una por paso— y generar es recorrer ese producto de forma voraz. Un traductor de juguete de español a inglés, entrenado en el navegador, escribe frases de longitud distinta a la entrada y con el adjetivo cambiado de sitio., con una fila por paso de la salida. Recórrelas y mira dos sitios. i y read tiran del mismo token, leí, porque el español lleva el pronombre dentro del verbo y el inglés lo escribe aparte. Y book, en el paso 7, vuelve a libro —que está en la posición 4— después de que los pasos 5 y 6 hayan estado en muy y bueno: las líneas se cruzan, que es la reordenación que el resumen fijo tenía que aguantar de memoria. Después pulsa «resumen fijo».

Un contexto distinto en cada paso

Fijemos lo que recibe el paso $i$. Son $T_x$ números, uno por posición de la entrada, y los llamamos $\alpha_{i1}, \dots, \alpha_{iT_x}$. Con ellos el contexto de ese paso es

Mira las dos formas, porque la gracia está en que no coinciden. La lista de pesos mide $T_x$: crece con la entrada, un peso más por cada token nuevo, y ahí es donde entra la información que antes no cabía. El resultado mide $d_h$ pase lo que pase, que es exactamente lo que le permite ocupar el sitio del vector de contexto de siempre sin tocar el resto del decoder. La entrada creció; el hueco no.

Las dos condiciones sobre los pesos convierten esa suma en una mezcla, y merece la pena ver qué prohíben. Como ningún peso es negativo y todos suman uno, cada coordenada de $\mathbf{c}_i$ queda entre la menor y la mayor de esa misma coordenada entre los $\bar{\mathbf{h}}_j$: la mezcla reparte lo que hay, no inventa valores nuevos ni amplifica ninguno. Los dos extremos de lo que puede hacer se escriben solos. Si un peso vale $1$ y el resto $0$, entonces $\mathbf{c}_i = \bar{\mathbf{h}}_{j}$ y la mezcla se ha convertido en una elección dura de un estado. Si todos valen $1/T_x$, entonces $\mathbf{c}_i$ es la media de la frase entera, que mira todo y no distingue nada. Entre esos dos casos vive el mecanismo.

El resumen fijo era una alineación congelada

Hay un tercer juego de pesos que ya conoces, aunque nunca se escribió como tal. Toma $\alpha_{ij} = 1$ cuando $j = T_x$ y $\alpha_{ij} = 0$ en el resto, para todos los pasos por igual:

Eso es el encoder-decoder de las dos lecciones anteriores, entero, sin quitar ni añadir nada. Y es una alineación perfectamente legal: los pesos no son negativos y suman uno. De modo que la atención no sustituye a aquella arquitectura ni compite con ella —la contiene—: lo que hace es descongelar unos pesos que estaban puestos a mano, en el último token, y que no dependían de $i$. El cuello de botella no venía de que $d_h$ fuera pequeño. Venía de que esa fila no se podía mover.

El contexto entra como una entrada más del decoder

El contexto llega a la recurrencia del decoder como un sumando más, con su propia matriz de pesos $\mathbf{W}_{ch} \in \mathbb{R}^{d_h \times d_h}$:

y el estado de partida cambia de sitio. En la lección sobre la arquitectura encoder-decoderBlock 4 · Lesson 1La arquitectura encoder-decoderLa arquitectura de dos redes de la lección anterior, llevada a una tarea de verdad: traducir. Aparecen dos vocabularios en lugar de uno, un token de fin de secuencia que el propio modelo predice para decidir dónde termina su salida, y la lectura que sostiene el resto del bloque: el decoder no devuelve una traducción, define una probabilidad sobre todas —un producto de distribuciones, una por paso— y generar es recorrer ese producto de forma voraz. Un traductor de juguete de español a inglés, entrenado en el navegador, escribe frases de longitud distinta a la entrada y con el adjetivo cambiado de sitio. el decoder arrancaba en $\mathbf{s}_0 = \mathbf{c}$, porque había un $\mathbf{c}$ y sólo uno; ahora no lo hay, así que tomamos $\mathbf{s}_0 = \mathbf{0}$, como la recurrencia del bloque anterior. Es una elección, no una necesidad —lo habitual es arrancar de una proyección aprendida de $\bar{\mathbf{h}}_{T_x}$—, y no cambia nada de lo que sigue.

Con eso, la línea incómoda de la lección sobre la arquitectura encoder-decoderBlock 4 · Lesson 1La arquitectura encoder-decoderLa arquitectura de dos redes de la lección anterior, llevada a una tarea de verdad: traducir. Aparecen dos vocabularios en lugar de uno, un token de fin de secuencia que el propio modelo predice para decidir dónde termina su salida, y la lectura que sostiene el resto del bloque: el decoder no devuelve una traducción, define una probabilidad sobre todas —un producto de distribuciones, una por paso— y generar es recorrer ese producto de forma voraz. Un traductor de juguete de español a inglés, entrenado en el navegador, escribe frases de longitud distinta a la entrada y con el adjetivo cambiado de sitio. queda reescrita:

El cambio parece un subíndice y es un cambio de condicionante. Aquella igualdad afirmaba que todo lo que la entrada tuviera que decir sobre cualquier posición de la salida cabía en $d_h$ números fijados de una vez; esta afirma algo mucho más flojo, que para cada posición hay una mezcla de los estados que sirve. Y como $\mathbf{c}_i$ se construye a partir de los $T_x$ estados, el paso $i$ está condicionando otra vez sobre la fuente completa. La suposición no ha desaparecido, se ha vuelto barata.

De dónde salen los pesos

Queda la pregunta que lo sostiene todo: quién decide los $\alpha_{ij}$. No pueden estar fijados de antemano —eso es justo lo que se acaba de descongelar— ni pueden depender sólo de $j$, porque entonces todos los pasos mirarían al mismo sitio. Tienen que depender de la pareja: de dónde está el decoder y qué hay en la posición $j$. Así que primero se puntúa cada pareja,

donde $a$ es una función que devuelve un número —lo compatibles que son ese estado del decoder y ese estado del encoder— y $\mathbf{s}_{i-1}$ es el estado anterior por una razón de orden, no de gusto: calcular $\mathbf{s}_i$ exige tener ya $\mathbf{c}_i$, que exige tener los pesos, que exigen las puntuaciones. Lo último que existe cuando hay que puntuar es $\mathbf{s}_{i-1}$.

Las puntuaciones son números sueltos y pueden ser negativos, así que hace falta convertirlas en una mezcla. Eso lo hace un softmax, y aquí conviene mirar sobre qué:

Sale positivo por la exponencial y suma uno por el denominador, que son las dos condiciones de la mezcla, y de propina reparte de forma suave: una puntuación algo mayor se lleva algo más de peso, no todo.

Dos consecuencias, y la primera es una factura. Hay una puntuación por cada pareja de paso y posición, así que traducir una frase cuesta $T_x \cdot T_y$ evaluaciones de $a$: el precio crece con el producto de las dos longitudes. El resumen fijo no pagaba ninguna, y eso es precisamente lo que lo ahogaba; conviene saber desde el principio que la mirada hacia atrás no sale gratis.

La segunda explica el softmax en lugar de algo más directo. Lo natural sería quedarse con el estado mejor puntuado, $\arg\max_j e_{ij}$, y ahorrarse la suma entera. Pero eso devuelve una posición, y una posición es un entero: mueve los parámetros de $a$ una millonésima y el índice no se inmuta, hasta que un día salta. La derivada de $\mathbf{c}_i$ respecto de esos parámetros vale cero donde existe, de modo que la pérdida no tendría por dónde enseñarle a $a$ a puntuar mejor. Con el softmax, $\mathbf{c}_i$ depende de las puntuaciones de forma continua, y la regla de la cadena de su lecciónBlock 2 · Lesson 7La regla de la cadena, en serioUna capa oculta hace que un mismo peso llegue a la pérdida por varios caminos a la vez, y la regla de la cadena de una variable no cubre ese caso. Dentro de un camino las derivadas se multiplican; entre caminos se suman. Apilar esas sumas da la jacobiana, y con ella derivar una composición vuelve a ser un producto de matrices. atraviesa los pesos igual que atraviesa cualquier otra cosa. Elegir suave es lo que hace que elegir se pueda aprender.

Falta la función $a$ y no se define aquí. Lo que esta lección necesita de ella es sólo que devuelva un número y que sea derivable; qué forma tiene, cuántos parámetros lleva y cómo se entrenan es el asunto de la lección siguiente.

El contexto por pasos, en NumPy

La celda toma la alineación del explorable —mis números, otra vez— y un estado por token de la entrada, y hace tres cosas. Comprueba lo único que no se ve mirando el mapa, que cada fila sume uno. Construye los ocho contextos de golpe, porque la mezcla de todas las filas a la vez es un producto de matrices. Y repite la cuenta con la alineación congelada, para poder comparar.

La columna del medio es el mapa leído en voz alta, y las dos últimas líneas son el hallazgo: con la alineación de arriba los ocho pasos reciben ocho vectores distintos, y con la congelada reciben el mismo ocho veces —el estado del último token de la entrada—. La última columna dice cuánto se estaba perdiendo cada paso, y ahí hay algo que mirar despacio, porque no se pierde lo mismo en todos. Los dos valores pequeños, $0.25$ y $0.32$, son los de good y <EOS>, que son los dos únicos pasos que tiran de bueno —justo el token que el resumen fijo llevaba dentro—; los de yesterday y book pasan de $1.35$. El resumen fijo no era igual de malo en todas partes: acertaba donde la frase termina y fallaba en todo lo demás, que es por dónde se rompía en la lección anterior. Cambia un peso de la matriz alfa y ejecuta otra vez: la assert se queja antes de que puedas mirar nada, que es justo su trabajo.

Comprueba tu intuición

Cuatro preguntas: sobre qué normaliza el softmax, qué modelo sale al congelar la alineación, por qué mezclar en vez de elegir, y cuánto cuesta.

El mecanismo está completo salvo por una pieza, y es la que decide todo lo demás. Los pesos de esta lección no los ha calculado nadie: los escribí yo en una matriz, eligiéndolos para que el mapa enseñara una reordenación y un token compartido. Un modelo de verdad no tiene a nadie que se los escriba. Tiene que puntuar cada pareja $(\mathbf{s}_{i-1}, \bar{\mathbf{h}}_j)$ por su cuenta, con una función que empieza sabiendo tan poco como el resto de la red y que aprende al mismo tiempo que ella.

Esa función es $a$, y la lección siguiente, sobre la atención de Bahdanau, es la que la escribe: le da sus propios parámetros —una capa pequeña, con su matriz y su vector—, la mete en el mismo descenso de gradiente que ya entrena al encoder y al decoder, y desarrolla por dónde le llega el gradiente, que resulta venir por dos caminos a la vez. Que haya más de una forma razonable de puntuar una pareja, y que la elección entre ellas termine decidiendo cómo es el bloque 5, ocupa el resto de este.