GRU: la versión simplificada

Hasta aquí el bloque ha avanzado preguntando qué le falta a cada red: a la RNN (recurrent neural network) vanilla le faltaba una memoria que sobreviviera a la distancia, y la LSTM (long short-term memory) de la lección anterior, sobre la memoria con compuertas, se la dio. Pero la dio cara —el cuádruple de los pesos de una RNN vanilla y un segundo estado que arrastrar en cada paso—, y la propia lección se despidió sospechando de que una de sus compuertas sobraba. Cuando una arquitectura funciona, la pregunta que queda no es qué le falta, sino qué le sobra.

Simplificar de verdad no es quitar piezas hasta que algo se rompe, sino quitarlas conservando lo que compraban. Y lo que la LSTM compró —lo único que justificaba todo el aparato— era la vía por la que el gradiente vuelve intacto a través de muchos pasos. Cualquier recorte tiene que pasar por ahí: si al fundir compuertas o borrar estados esa vía se pierde, la simplificación ha tirado justo lo que importaba. La GRU (gated recurrent unit) es el recorte que pasa la prueba, y por eso es la celda recurrente más usada en la práctica: tres cuartas partes de los pesos de la LSTM, un solo estado, y —casi siempre, no siempre— el mismo resultado.

El recorte cabe en dos ideas. La primera funde las dos compuertas sospechosas en una: en vez de decidir por separado cuánto se conserva y cuánto se escribe, la GRU usa un solo mando —la compuerta de actualización— que dice cuánto reemplazar, y lo que no reemplaza es lo que conserva. El estado deja de ser una suma que puede crecer sin freno y pasa a ser una mezcla, un punto intermedio entre lo que había y lo que se propone escribir; y una mezcla de cosas acotadas se queda acotada, así que ya no hace falta la compuerta de salida que en la LSTM recortaba el estado antes de enseñarlo.

La segunda idea es una compuerta pequeña y nueva, la compuerta de reset, que no toca la memoria sino la propuesta: deja que el candidato ignore el estado anterior cuando lo que hay que escribir ahora no arrastra nada de lo de antes —al empezar una oración nueva, por ejemplo—. Con esas dos, y con un único estado que hace de memoria y de salida a la vez, desaparece el segundo vector: ya no hay un estado de celda escondido detrás del que se enseña.

Antes de las fórmulas, vuelve un momento a la LSTM que la GRU simplifica. Recórrela y mira las dos primeras filas —la compuerta de olvido y la de entrada— moverse por separado: ésas son las dos que la GRU va a atar en una.

Conservar y escribir con una sola compuerta

Empieza por la línea que lo cambia todo. La celda de la LSTM sumaba dos términos con compuertas independientes, $\mathbf{c}_t = \mathbf{f}_t \odot \mathbf{c}_{t-1} + \mathbf{i}_t \odot \tilde{\mathbf{c}}_t$; la GRU trabaja directamente sobre el estado oculto $\mathbf{h}_t \in \mathbb{R}^{d_h}$ —no hay segundo vector— y ata las dos compuertas en una:

con $\mathbf{z}_t \in (0,1)^{d_h}$ la compuerta de actualización y $\tilde{\mathbf{h}}_t \in (-1,1)^{d_h}$ el candidato, el estado que el paso propone. Coordenada a coordenada es una media ponderada entre lo viejo y lo nuevo: $z_{t,j} = 0$ deja $h_{t,j}$ igual a $h_{t-1,j}$ —conserva— y $z_{t,j} = 1$ lo reemplaza entero por el candidato —escribe—. No hay forma de hacer las dos cosas a la vez, y ésa es justo la libertad que la LSTM tenía y la GRU entrega: allí $\mathbf{f}_t$ e $\mathbf{i}_t$ podían abrirse las dos y acumular. A cambio, una media de números acotados no se desborda, y por eso la GRU enseña el estado tal cual, sin la compuerta de salida ni el $\tanh$ que en la LSTM lo recortaban antes de sacarlo.

La compuerta de actualización se calcula como todas las de la lección anterior, una capa sigmoide sobre el token y el estado previo:

con $\mathbf{W}_{xz} \in \mathbb{R}^{d_h \times d_{\text{model}}}$, $\mathbf{W}_{hz} \in \mathbb{R}^{d_h \times d_h}$ y $\mathbf{b}_z \in \mathbb{R}^{d_h}$: las mismas formas de la recurrencia de la lección sobre la RNN vanillaBloque 3 · Lección 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada..

Falta el candidato, y aquí entra la segunda compuerta. En la LSTM el candidato leía siempre el estado anterior completo; la GRU le pone delante un filtro, la compuerta de reset $\mathbf{r}_t$, que decide cuánto de ese estado entra en la propuesta:

El $\mathbf{r}_t \odot \mathbf{h}_{t-1}$ es lo único que distingue este candidato del de una RNN vanilla: con $\mathbf{r}_t = \mathbf{1}$ el candidato es la recurrencia de la lección sobre la RNN vanillaBloque 3 · Lección 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada. tal cual, y con $\mathbf{r}_t = \mathbf{0}$ en una coordenada esa coordenada del candidato se calcula sólo con el token, como si la secuencia empezara ahí. Conviene no confundir las dos compuertas: $\mathbf{z}_t$ decide si el estado se actualiza, $\mathbf{r}_t$ decide qué mira el candidato para proponer. Una gobierna la memoria; la otra, la propuesta.

Las tres piezas juntas, con $\mathbf{h}_0 = \mathbf{0}$ por lo mismo que en la RNN y la LSTM:

Tres piezas —dos compuertas y un candidato—, cada una con la forma exacta de la recurrencia de la lección sobre la RNN vanillaBloque 3 · Lección 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada.: seis matrices y tres sesgos, $3\left(d_h \cdot d_h + d_h \cdot d_{\text{model}} + d_h\right)$ pesos. Frente a los cuatro grupos de la LSTM, tres cuartas partes; y como allí, $T$ no aparece en ninguna de las formas, así que la GRU lee cualquier longitud con el mismo juego de pesos.

Por qué la vía de vuelta sobrevive al recorte

Toda la lección pende de una comprobación: que la vía por la que el gradiente vuelve —la que la LSTM compró y la lección sobre el gradiente que se desvaneceBloque 3 · Lección 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—. explicó por qué hacía falta— siga en pie con un estado en lugar de dos. Mira la última línea coordenada a coordenada, que es donde se ve lo que el $\odot$ significa:

La coordenada $j$ del estado nuevo depende de la $j$ del viejo y de ninguna otra por esta vía: no hay matriz que las mezcle. Derivando por el camino directo, y dejando quietas las compuertas y el candidato —volveré sobre eso—,

un número, no una matriz. Encadénalo hacia atrás hasta un paso lejano $k$, igual que la lección sobre el gradiente que se desvaneceBloque 3 · Lección 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—. encadenaba la recurrencia, y lo que llega por la vía directa es un producto de esos números:

Es, letra por letra, el $\prod f_{t,j}$ de la LSTM con $1 - z_{t,j}$ en el sitio de $f_{t,j}$: la compuerta de actualización cerrada ($z_{t,j} \to 0$) hace de compuerta de olvido abierta. Y vale lo mismo que allí —$1 - z_{t,j} = 1$ es alcanzable y estable, porque una sigmoide saturada se queda plana en el extremo—, así que una coordenada que la red aprenda a no actualizar multiplica por $1$ tantos pasos como haga falta. Frente al $\left(\gamma\,\sigma_{\max}\right)^{T-k}$ de la lección sobre el gradiente que se desvaneceBloque 3 · Lección 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—., la base ha dejado de ser una propiedad de una matriz compartida por todo para ser un número por coordenada y por paso que la red calcula.

Dos concesiones cierran la cuenta, las mismas que en la LSTM. Si la red aprende $z_{t,j}$ alrededor de $0.3$, el producto se hunde igual que en la RNN, sólo que porque la red lo decide y no porque la arquitectura lo imponga. Y la explosión sigue siendo posible por los caminos del recuadro, así que la GRU se entrena con recorte del gradiente igual que todo lo anterior. La vía aditiva no regala una garantía; hace alcanzable una opción que antes no lo era.

La GRU, paso a paso, en NumPy

Una celda. Transcribe el recuadro de cuatro líneas y lo corre sobre una secuencia corta con dos sesgos distintos de la compuerta de actualización, para ver cuánto de $\mathbf{h}_1$ llega a $\mathbf{h}_6$ por la vía directa.

Los pesos me los da un generador con semilla fija y no están entrenados, así que las compuertas todavía no significan nada. Lo que sí he puesto a mano es el sesgo $\mathbf{b}_z$: recuerda que conservar es $z \to 0$, así que un sesgo negativo es lo que empuja a la red a recordar —el reflejo del $\mathbf{b}_f$ positivo de la LSTM—. Mira la última línea de cada bloque.

Las dos compuertas viven en $(0,1)$ y ninguna vale lo mismo en dos coordenadas. Compara los dos bloques por la última línea. Con $\mathbf{b}_z = 0$ la de actualización ronda $0.5$, se reemplaza medio estado en cada paso y de $\mathbf{h}_1$ llega a $\mathbf{h}_6$ un $3\,\%$ escaso; con $\mathbf{b}_z = -3$ ronda $0.05$, casi no se actualiza nada, y sobrevive un $77\,\%$, con los mismos pesos y la misma secuencia. De ahí la costumbre de inicializar $\mathbf{b}_z$ negativo, por lo mismo que $\mathbf{b}_f$ positivo en la LSTM: sale más barato que la red aprenda a escribir que aprenda a recordar. Y fíjate en el precio del atajo: con $\mathbf{b}_z = -3$ el estado casi no se mueve —$\mathbf{h}_t$ se queda en centésimas—, porque conservar y escribir son el mismo mando, y pedirle que conserve es pedirle que apenas escriba.

Comprueba tu intuición

Cuatro preguntas: qué ata y qué suelta la compuerta de actualización, qué hace la de reset sin tocar la memoria, cuánto cuesta la arquitectura, y qué se lleva la GRU de la LSTM y qué deja por el camino.

Y el paso completo escrito por ti, que es la recurrencia de la RNN vanillaBloque 3 · Lección 2La RNN vanillaUna sola matriz aplicada en todas las posiciones y un estado que viaja de un paso al siguiente. Con eso, ninguna de las formas de los pesos menciona la longitud del texto: la misma red lee dos tokens o cuarenta sin rellenar ni recortar nada, lo aprendido leyendo la posición 2 sirve tal cual en la 8, y dos frases con los mismos tokens en distinto orden dejan de ser la misma entrada. envuelta en dos compuertas.

Con la GRU y la LSTM, el bloque tiene ya dos maneras de darle memoria a una red, y las dos descansan en el mismo hallazgo: una vía por la que el estado avanza sumándose, sin cruzar una matriz, que es lo único que deja al gradiente volver desde lejos. Pero saber construir la celda no es lo mismo que haber construido algo con ella. En todo el bloque no ha corrido todavía una red que lea un texto de principio a fin y produzca lenguaje propio: se ha derivado la maquinaria sin encenderla.

Encenderla es la siguiente lección, el proyecto de un modelo de lenguaje a nivel de carácter. Junta la RNN, la BPTT (backpropagation through time) y una de estas celdas en una red que se entrena sobre unos pocos miles de caracteres y después genera, carácter a carácter, un texto nuevo. Saldrá malo —lo diré sin adornos cuando salga—, correrá en el navegador en unos segundos, y será la primera vez en el curso que algo escribe.