Proyecto: un modelo de lenguaje a nivel de carácter

La lección anterior, sobre la GRU, dejó el bloque con toda su maquinaria montada y ninguna pieza en marcha: una red que lee textos de cualquier longitud, un gradiente que la recorre por el tiempo, y dos celdas que le dan una memoria capaz de sobrevivir a la distancia. Lo que falta no es otra pieza, es un trabajo que las use. Este es ese trabajo, y consiste en construir un modelo que, leído un texto, sepa seguir escribiéndolo.

Ese modelo tiene nombre: un modelo de lenguaje (language model) es una red que, dado un trozo de texto, predice qué viene después. A nivel de carácter —la tokenización por caracteres de la lección sobre tokenizaciónBlock 1 · Lesson 2Tokenización: palabras, caracteres, subpalabrasAntes de decidir qué vector le corresponde a una unidad hay que decidir cuál es la unidad. Esa elección fija el tamaño del vocabulario, la longitud de las secuencias y qué significa que una palabra sea nueva.— eso es el próximo carácter, una letra, un espacio o un punto, y en esa pregunta minúscula cabe toda la tarea. Se entrena sobre un corpus pequeño, unos miles de caracteres, y después se le pide que escriba, carácter a carácter, realimentándose lo que va produciendo. El texto que sale es la red hablándose a sí misma. Saldrá malo —lo diré con todas las letras cuando salga—, y será la primera vez en el curso que algo escribe.

La red que entrenamos en la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico. leía una reseña entera y daba un solo veredicto, una salida y una pérdida, colgadas del último estado. Un modelo de lenguaje cambia una cosa y sólo una: saca una predicción en cada posición. En el paso $t$, con el estado $\mathbf{h}_t$ que resume lo leído hasta ahí, predice el carácter $t+1$; de modo que un texto de $T$ caracteres son $T$ predicciones en una sola pasada, y su pérdida suma las $T$. Ahí está lo que convierte un texto en un conjunto de entrenamiento sin que nadie lo etiquete: la respuesta correcta de cada posición es el carácter de la siguiente, ya escrito en el corpus.

Lo honesto es decir de entrada qué aprende y qué no. Con unos miles de caracteres y un estado de unas decenas de coordenadas, la red aprende la estadística de los caracteres: dónde caen los espacios, que tras la q viene casi siempre una u, que la, de y el están por todas partes. No aprende nada del significado ni de la gramática. Así que lo que genera se parece al español visto desde la otra punta de una sala ruidosa: palabras cortas de verdad, palabras largas verosímiles que no existen, y ni una frase que quiera decir algo. Eso no es un defecto que esta lección venga a arreglar: es lo que un modelo de caracteres de este tamaño aprende, y nombrarlo sin rodeos es media lección.

Una salida en cada posición

La recurrencia es la de la lección sobre la RNN vanillaBlock 3 · Lesson 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada., sin tocar una letra: $\mathbf{h}_t = \tanh\left(\mathbf{W}_{xh}\mathbf{x}_t + \mathbf{W}_{hh}\mathbf{h}_{t-1} + \mathbf{b}_h\right)$, con $\mathbf{h}_0 = \mathbf{0}$. Lo nuevo es $\mathbf{x}_t$: como cada token es un carácter, la entrada de la posición $t$ es el one-hot de ese carácter, $\mathbf{x}_t = \mathbf{o}_{c_t} \in \{0,1\}^{\lvert V \rvert}$, donde $V$ es el conjunto de caracteres distintos del corpus. El vocabulario ya no son palabras: son caracteres, así que $d_{\text{model}} = \lvert V \rvert$ y $\mathbf{W}_{xh} \in \mathbb{R}^{d_h \times \lvert V \rvert}$.

Ese one-hot trae el atajo de la lección sobre one-hotBlock 1 · Lesson 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada.: multiplicar una matriz por un one-hot escoge una de sus columnas, $\mathbf{W}_{xh}\mathbf{o}_{c} =$ columna $c$ de $\mathbf{W}_{xh}$. Así que las columnas de $\mathbf{W}_{xh}$ son los vectores de entrada de cada carácter, que la red aprende sobre la marcha.

Lo nuevo es la salida. La lección sobre la RNN vanillaBlock 3 · Lesson 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada. leía un veredicto del último estado; el modelo de lenguaje lee uno de cada estado, y es una distribución sobre el próximo carácter:

con $\mathbf{W}_{hy} \in \mathbb{R}^{\lvert V \rvert \times d_h}$, una fila por cada carácter que podría venir. La etiqueta es la que el corpus puso de verdad: el one-hot del carácter siguiente, $\mathbf{y}_t = \mathbf{o}_{c_{t+1}}$. La pérdida de esa posición es la entropía cruzada de la lección sobre funciones de pérdidaBlock 2 · Lesson 5Funciones de pérdida: MSE y entropía cruzadaUna pérdida resume en un número lo mal que lo hace la red, y entre dos candidatas decide su derivada. El error cuadrático medio entrega su corrección más pequeña justo donde la red se equivoca con más seguridad; la entropía cruzada, que sale de leer la salida como probabilidad, deja esa derivada en la diferencia entre lo predicho y la etiqueta., y la de la secuencia entera suma una por posición, promediada por carácter:

donde $\hat{y}_{t,\,c_{t+1}}$ es la probabilidad que la red le dio al carácter que de verdad venía. El $1/T$ es la media por posición, el análogo del $1/B$ del bloque anterior repartiendo $\mathcal{L}$ entre el batch —sólo que aquí el «lote» son las $T$ posiciones de una misma secuencia—.

La vuelta: cada paso recibe dos errores

La lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico. ya hizo casi toda esta cuenta. Allí sólo el último estado tocaba la pérdida, así que sólo $\boldsymbol{\delta}_T$ arrancaba desde una salida y los pasos interiores recibían su error transportado del siguiente. El modelo de lenguaje cambia exactamente eso: cada posición tiene su propia salida, de modo que cada paso arranca un error propio y además pasa hacia atrás el que viene de adelante.

Sigue siendo $\boldsymbol{\delta}_t = \nabla_{\mathbf{p}_t}\ell$, el error de la preactivación. Lo que cambia es que el estado $\mathbf{h}_t$ llega ahora a la pérdida por dos caminos —su salida en $t$ y el paso $t+1$—, y la regla de la cadenaBlock 2 · Lesson 7La regla de la cadena, en serioUna capa oculta hace que un mismo peso llegue a la pérdida por varios caminos a la vez, y la regla de la cadena de una variable no cubre ese caso. Dentro de un camino las derivadas se multiplican; entre caminos se suman. Apilar esas sumas da la jacobiana, y con ella derivar una composición vuelve a ser un producto de matrices. del bloque anterior los suma:

donde el primer término es la salida de la lección sobre funciones de pérdidaBlock 2 · Lesson 5Funciones de pérdida: MSE y entropía cruzadaUna pérdida resume en un número lo mal que lo hace la red, y entre dos candidatas decide su derivada. El error cuadrático medio entrega su corrección más pequeña justo donde la red se equivoca con más seguridad; la entropía cruzada, que sale de leer la salida como probabilidad, deja esa derivada en la diferencia entre lo predicho y la etiqueta. —softmax con entropía cruzada entrega $\hat{\mathbf{y}}_t - \mathbf{y}_t$— repartida entre las coordenadas del estado por $\mathbf{W}_{hy}^{\top}$, y el segundo es el transporte de la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico., intacto. Enmascara con la pendiente del $\tanh$ y tienes el error del paso:

con $\boldsymbol{\delta}_{T+1} = \mathbf{0}$, porque después del último paso no hay ninguno. Ponla al lado de las dos líneas de la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico. y verás que son sus dos mitades juntas: el arranque desde la salida, que allí era sólo de $\boldsymbol{\delta}_T$, y el transporte, que allí era sólo de los interiores.

Con el error de cada paso en la mano, los gradientes son los de la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico. más el de la capa de salida, todos sumados sobre las $T$ posiciones:

y los sesgos igual, sumados. Todo lo que va bajo la suma es una pieza ya derivada; lo único nuevo es que $\mathbf{W}_{hy}$ también se comparte entre las posiciones —una salida por paso, no una al final—, así que su gradiente se une a la suma sobre el tiempo en lugar de ser un producto suelto.

Entrenar y generar en NumPy

Tres celdas: el corpus, el entrenamiento y la escritura. Ejecútalas en orden.

La primera trae el corpus —unos párrafos sobre un pueblo de mar, escritos para el curso—, lo pasa a minúsculas, le quita todo lo que no sea letra, espacio, punto o coma, y lo deja como una tira de índices. Mira el vocabulario que queda, y la última línea, que enseña el modelo entero en dos palabras: lo que entra es el texto, y lo que sale es el mismo texto corrido una posición.

Salen 2 632 caracteres y 32 caracteres distintos —las letras, la ñ, las cinco vocales con tilde, el espacio y dos signos—, así que $\lvert V \rvert = 32$. Las dos últimas líneas son el conjunto de entrenamiento entero: el pueblo es como entrada y l pueblo est como etiqueta, la misma tira desplazada un lugar. De ahí salen los casi 2 632 ejemplos, uno por posición, sin etiquetar nada.

La segunda es el modelo completo: la ida de la lección sobre la RNN vanillaBlock 3 · Lesson 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada., que en cada posición saca una puntuación por carácter y el softmax vuelve probabilidades; la vuelta de la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico. con el error de la salida sumado en cada paso; el recorte del gradiente de la lección sobre el gradiente que se desvaneceBlock 3 · Lesson 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—.; y un descenso que actualiza los cinco grupos de pesos. Entrena 1 200 pasos sobre trozos de 25 caracteres, y cada trozo es una secuencia independiente que arranca en $\mathbf{h}_0 = \mathbf{0}$, como en la lección sobre BPTTBlock 3 · Lesson 3Backpropagation through timeLa recurrencia comparte una matriz entre todas las posiciones, y eso reescribe su gradiente. Backpropagation through time es la pasada hacia atrás del bloque anterior con las capas tumbadas sobre el tiempo: un error por paso, transportado del final al principio por la misma W_hh, y un gradiente que —por reutilizar esa matriz en cada posición— es la suma de lo que cada paso le reclama. Se deriva completa y se comprueba, número a número, contra un sondeo numérico.. Mira las dos cosas que imprime cada pocos cientos de pasos: la pérdida por carácter, y una muestra de lo que la red escribiría entonces.

La pérdida arranca en $3.47$, que no es un número cualquiera: es $\ln 32$, la pérdida de una red que reparte por igual entre los 32 caracteres —el eco del $\log 2$ del clasificador del bloque anterior, con 32 caras en lugar de 2—. De ahí baja sin sobresaltos hasta rondar $2.5$, y seguiría bajando: el bucle se corta pronto para caber en los diez segundos que el navegador da a una celda, porque mediocre y a tiempo vale más que bueno y nunca. La muestra de cada línea cuenta la misma historia por otro lado: la primera es ruido, caracteres al azar y tildes sueltas; hacia la mitad ya hay espacios en su sitio y palabras cortas; al final es español mal hecho: palabras cortas reales —la, el, de, y— enhebradas entre palabras largas que suenan a español sin serlo.

El corte en trozos tiene un segundo precio: como cada trozo empieza de cero, la red nunca ve una dependencia más larga que 25 caracteres. Para un modelo que sólo persigue la estadística local se paga a gusto; y esa dependencia larga a la que se renuncia es justo la que las celdas con compuerta de la LSTMBlock 3 · Lesson 5LSTM: memoria con compuertasUn segundo estado que avanza sumándose en vez de cruzar una matriz, y tres compuertas que deciden qué se conserva, qué se escribe y qué sale. Cada una llega arreglando un fallo concreto de la versión anterior, y la vía aditiva cambia el producto que mata al gradiente: en lugar de una potencia de la matriz recurrente, un producto de números que la red elige coordenada a coordenada y puede dejar en uno. y la GRUBlock 3 · Lesson 6GRU: la versión simplificadaUna compuerta de actualización que ata conservar y escribir —lo que no se conserva es justo lo que se escribe—, una de reset que deja al candidato ignorar el pasado, y un solo estado en vez de dos. Tres cuartas partes de los pesos de la LSTM conservando la vía por la que el gradiente vuelve, porque el camino directo sigue multiplicando por un número que la red elige y puede dejar cerca de uno. sabían conservar.

La tercera celda usa los pesos ya entrenados para escribir. Generar invierte el entrenamiento: en vez del carácter real que venía, la red recibe el que ella misma propone. Arranca en $\mathbf{h}_0 = \mathbf{0}$ con un carácter cualquiera —un espacio, para empezar palabra—, calcula $\hat{\mathbf{y}}$, muestrea de esa distribución el siguiente (sampling: extraer uno al azar con la probabilidad que le da), lo realimenta como entrada, y repite. La celda genera dos veces muestreando y una tercera tomando siempre el carácter más probable, para ver la diferencia.

Las dos primeras líneas salen distintas entre sí —el azar del muestreo— y las dos son español mal hecho. La última no: tomar siempre el carácter más probable es determinista, y en cuanto entra en una racha de alta probabilidad se queda atrapado repitiendo un mismo fragmento una y otra vez. Por eso se muestrea en lugar de ir a lo seguro: el azar es lo que impide que la red se muerda la cola. Y con todo, ninguna de las dos escribe nada que signifique algo. No puede: nunca vio una palabra como unidad, sólo caracteres, y olvidó cuanto quedaba más atrás de 25. Es exactamente lo que se prometió —malo—, y verlo salir es la lección.

Comprueba tu intuición

Tres preguntas: cuántos ejemplos esconde un texto para este modelo, de dónde le llega el error a cada paso de la vuelta, y qué arreglaría —y qué no— entrenar mucho más.

Por primera vez en el curso, una red ha escrito. Es poco y es malo, pero es suyo: ningún carácter de esas líneas estaba en el corpus en ese orden, y aun así se parecen al español porque la red aprendió, letra a letra, en qué consiste parecerse al español. Toda la maquinaria del bloque —leer cualquier longitud, entrenar por el tiempo, arreglar la vía por la que el gradiente vuelve— estaba para poder llegar hasta aquí y encender algo.

Pero este modelo hace una sola cosa: continuar una tira de texto en el mismo idioma en que la leyó. No sabe tomar una secuencia y devolver otra distinta —una pregunta y su respuesta, una frase en español y la misma en inglés— porque sólo maneja una secuencia, no dos. Leer una entera con una red y escribir otra con otra, atándolas por lo que la primera entendió, es la siguiente lección, sobre modelos de secuencia a secuencia: el encoder que resume lo leído y el decoder que escribe a partir de ese resumen, el último paso antes de salir del bloque.