El cuello de botella del vector de contexto

El decoder de la lección anterior, sobre la arquitectura encoder-decoder, no lee nunca la frase de entrada: lee un vector. $\mathbf{c}$ tiene $d_h$ coordenadas, ese número se fija al construir la red —antes de ver ninguna frase— y es el mismo para cinco tokens que para quinientos. Aquella lección dejó eso anotado como lo que es: una apuesta sobre lo que cabe en $d_h$ números, no algo que se demuestre.

Una apuesta se puede perder de dos maneras muy distintas, y separarlas es todo el trabajo de hoy. Un modelo puede fallar porque está mal ajustado, y entonces entrenarlo más lo arregla. O puede fallar porque lo que se le pide no cabe donde se le pide que quepa, y entonces no hay entrenamiento que valga: la pared no se mueve. Esta lección hace las dos cosas por separado. Primero cuenta, con lápiz, cuántos mensajes distintos caben en $\mathbf{c}$ y cuántas frases distintas hay que meter en él. Después mide qué le pasa a un modelo de verdad cuando la entrada se alarga, con dos anchos de estado y varios presupuestos de entrenamiento.

Las dos cantidades de la cuenta crecen de formas incompatibles, y el explorable las pone una sobre otra. La recta verde no se mueve con la longitud: dice cuántos mensajes distintos puede llegar a codificar un vector de $d_h$ coordenadas, y ese número no sabe nada de la frase que está resumiendo. La ámbar sube un escalón entero por cada token que añades a la entrada. Ensancha el estado todo lo que quieras y busca después el punto donde se cruzan.

Cuántos mensajes caben y cuántas frases hay

El estado del encoder sale de un $\tanh$, así que cada coordenada de $\mathbf{c}$ vive en el intervalo $(-1, 1)$. Sobre el papel eso es un continuo y cabe en él cualquier cosa; en un modelo que se entrena con gradientes y se lee con otra red, no. Llamemos $q$ al número de niveles que de una coordenada se distinguen de verdad —dos valores más próximos que eso llegan al decoder como el mismo número—. El valor de $q$ me lo doy yo: ocho niveles, dieciséis, treinta y dos, según lo optimista que uno quiera ser. Lo que viene ahora no depende de cuál elijas.

Con esa convención, el encoder tiene un número finito de mensajes distintos que enviar, y las frases que tiene que distinguir son todas las de longitud $T_x$ sobre el vocabulario de entrada:

Fíjate en dónde está cada letra. En el primer recuento, $T_x$ no aparece: el vector de contexto es igual de grande para una frase corta que para una larga, que es exactamente la decisión de diseño de la lección anterior. En el segundo, $T_x$ está en el exponente.

Ahora el paso que convierte esa asimetría en una imposibilidad. Una vez fijado $\mathbf{c}$, todo lo que el decoder escribe está determinado: arranca en $\mathbf{s}_0 = \mathbf{c}$, toma en cada paso la coordenada mayor y se realimenta con lo que acaba de escribir. La salida completa es, por tanto, una función de $\mathbf{c}$, y una función no puede dar dos respuestas distintas al mismo argumento. Si hay menos códigos que frases, dos frases distintas comparten código y el decoder devuelve la misma salida para las dos, de modo que al menos una de ellas la reconstruye mal. Contando las que puede acertar:

El techo vale $1$ —no dice nada— mientras las frases quepan, y a partir de ahí se divide entre $\lvert V_x \rvert$ con cada token nuevo. El punto donde cambia se despeja tomando logaritmos en $\lvert V_x \rvert^{T_x} \le q^{d_h}$:

Pon números de los que se usan de verdad. Un estado de $d_h = 256$ coordenadas, ocho niveles por coordenada y un vocabulario de subpalabras de $\lvert V_x \rvert = 32\,768$ entradas dan $T^{\star} = 51$ tokens; diez tokens más allá, el techo de arriba ha caído a $10^{-44}$. Y hay una palabra que no aparece en ninguna de las tres fórmulas: entrenamiento. Ni el número de iteraciones, ni la tasa de aprendizaje, ni los datos entran en el argumento, porque lo que se ha contado es cuántas respuestas distintas puede llegar a dar un mecanismo, no cómo de bien las elige.

Un techo muy por encima de donde se rompe

Ese recuento demuestra que la pared existe. No dice dónde está, y conviene ser explícito con la diferencia, porque el mejor modelo de la celda siguiente tiene $d_h = 32$, $q = 8$ niveles y $\lvert V_x \rvert = 4$ —cuatro letras—, lo que le da un techo de $T^{\star} = 48$ tokens. En tiras de cinco letras acertará una de cada tres.

La distancia entre esas dos cifras tiene una explicación, y es material del bloque anterior mirado desde un sitio nuevo. El gradiente que enseña al encoder a conservar el token $j$ de la entrada sale del término de la pérdida en la posición $i$ de la salida, retrocede por los pasos del decoder hasta $\mathbf{s}_0 = \mathbf{c}$, y desde ahí sigue por los del encoder hasta la posición $j$. No hay otra ruta —$\mathbf{c}$ es el único punto de contacto entre las dos redes—, y su longitud es

máxima cuando $j = 1$, es decir para el primer token de la entrada. La lección sobre el gradiente desvanecidoBloque 3 · Lección 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—. dice qué le ocurre a una señal que atraviesa esa ruta: cada paso la multiplica por $\mathbf{W}_{hh}^{\top}$ y por la máscara del $\tanh$, y con un radio espectral menor que uno la magnitud cae de forma exponencial con la distancia. Al primer token de la frase le llega la señal más débil de todas.

De modo que el encoder no reparte $\mathbf{c}$ entre las posiciones como lo haría un código óptimo: lo llena sobre todo con lo último que ha leído, porque es lo único que consigue aprender a conservar. Los $48$ tokens de la cuenta suponen un codificador perfecto; el puñado de letras del experimento es lo que se consigue entrenando una recurrencia con descenso de gradiente. Las dos cosas son ciertas y dicen cosas distintas: contar demuestra que la pared existe; entrenar enseña dónde está.

Dos anchos de estado y tres presupuestos de entrenamiento

La tarea es la de la lección sobre modelos de secuencia a secuenciaBloque 3 · Lección 8Seq2seq: de secuencia a secuenciaDos RNN encadenadas: un encoder que lee la secuencia de entrada y la comprime en un solo vector de contexto, y un decoder que escribe una secuencia nueva a partir de ese vector. Entrena de punta a punta —el encoder aprende sólo por el gradiente que el decoder le devuelve en c— sobre una tarea de juguete, invertir tiras de símbolos, que se resuelve en el navegador. Funciona con las cortas y se degrada con las largas: toda la entrada, sea cual sea su longitud, tiene que caber en los mismos d_h números. Ese cuello de botella es la puerta al bloque 4.: leer una tira de letras y escribirla al revés. Es deliberadamente pobre —no hay gramática, ni significado, ni nada que generalizar— y esa pobreza es la que hace limpio el experimento: para invertir una tira no hace falta más que recordarla, así que todo lo que falle es memoria.

La primera celda monta un modelo del ancho que le pidas y define su ida y vuelta, línea por línea las de la lección anterior. Lo único que hace falta mirar es que $\mathbf{c}$ sigue siendo el único enlace entre las dos redes: una sola variable, marcada en el código.

La segunda entrena y mide: por cada longitud, el porcentaje de tiras que salen exactas —ciento veinte tiras nuevas por casilla, generadas sin teacher forcing—. Salen cuatro filas. Las tres primeras son el mismo estado estrecho, $d_h = 8$, en tres momentos de su entrenamiento; la cuarta tiene el estado cuatro veces más ancho y entrena la mitad que la tercera. Las tiras de prueba son las mismas en las cuatro filas y las redes parten de la misma semilla, de modo que la única diferencia entre filas es lo que dice su etiqueta.

Lee la tabla por parejas de filas. De la primera a la segunda, el entrenamiento hace exactamente lo que se espera de él: en 750 iteraciones más, las tiras de dos y tres letras pasan de no salir nunca a salir la mayoría de las veces. De la segunda a la tercera, al doblar el presupuesto, ese progreso continúa —y sólo en las columnas cortas—: las tiras de dos letras llegan al pleno y las de tres y cuatro suben otro tramo, mientras que las de cinco, seis y siete se quedan a ras de suelo, donde ya estaban. Ahí está el hallazgo, y conviene decirlo despacio: entrenar compra acierto en lo que cabe, y no compra nada en lo que no cabe.

Y ahora la cuarta fila, que entrena la mitad que la tercera con un estado cuatro veces más ancho: sube todo lo que tenía margen para subir, y las tres columnas largas pasan de anecdóticas a reales —una de cada tres tiras de cinco letras, contra una de cada doce—. Esa es la respuesta a la pregunta del principio, medida y no intuida. El ancho de $\mathbf{c}$ y el presupuesto de entrenamiento no compran lo mismo: el segundo afina el uso del vector hasta donde el vector llega, y sólo el primero mueve la pared.

Lo más revelador, sin embargo, es cómo se equivoca, que es la sección anterior vista desde el lado de la salida. La lección sobre modelos de secuencia a secuenciaBloque 3 · Lección 8Seq2seq: de secuencia a secuenciaDos RNN encadenadas: un encoder que lee la secuencia de entrada y la comprime en un solo vector de contexto, y un decoder que escribe una secuencia nueva a partir de ese vector. Entrena de punta a punta —el encoder aprende sólo por el gradiente que el decoder le devuelve en c— sobre una tarea de juguete, invertir tiras de símbolos, que se resuelve en el navegador. Funciona con las cortas y se degrada con las largas: toda la entrada, sea cual sea su longitud, tiene que caber en los mismos d_h números. Ese cuello de botella es la puerta al bloque 4. ya lo dejaba ver en esta misma tarea: en una tira larga, el principio de lo que el decoder escribe —que es el final de lo que el encoder leyó, lo más reciente en $\mathbf{c}$— suele estar bien, y lo que se desordena es el final, que le pediría recordar el primer token de la entrada. El token peor conservado es el que está al final de la ruta más larga.

Comprueba tu intuición

Cuatro preguntas: qué arregla entrenar más, cuánto mide el techo del recuento, qué se compra al ensanchar el estado, y qué token de la entrada es el que peor sobrevive.

Las dos mitades de la lección apuntan al mismo sitio, y no es al tamaño de $d_h$. El recuento compara los mensajes que caben con las frases que hay porque hemos aceptado que haya un solo mensaje; la ruta se hace larga porque toda la información pasa por un solo punto. Ensanchar $\mathbf{c}$ mueve el techo unos tokens y deja las dos frases anteriores intactas. Lo que hay debajo no es un vector pequeño: es la idea de resumir.

Y hay algo que llama la atención en cuanto se dice así. El encoder calculó $\bar{\mathbf{h}}_1, \dots, \bar{\mathbf{h}}_{T_x}$, un estado por token de la entrada, y la arquitectura tira todos menos el último. Los otros existieron, se calcularon y se descartaron. Recuperarlos —dejar que el decoder mire hacia atrás, a la entrada entera, en lugar de conformarse con el resumen— es la lección siguiente, sobre la idea de atención. Ponerle fórmulas a esa mirada ocupa el resto del bloque.