Backpropagation through time

La lección anterior, sobre la RNN vanilla, se detuvo justo antes de entrenarla: la red lee cualquier longitud con dos matrices y un bucle, pero sus pesos siguen siendo los que un generador escribió al construirla, y no se ha movido ni uno. Moverlos es pedir el gradiente de la pérdida respecto de esos pesos, y al pedirlo aparece una particularidad que el bloque anterior no tenía. La red neuronal recurrente (recurrent neural network, RNN) no reparte su trabajo en una matriz por capa: $\mathbf{W}_{hh}$ es una sola matriz que el bucle usa en cada posición, enredada en la secuencia entera.

¿Cómo se deriva respecto de un peso que interviene en los $T$ pasos a la vez? El bloque anterior tiene las dos piezas para contestar. La regla de la cadenaBloque 2 · Lección 7La regla de la cadena, en serioUna capa oculta hace que un mismo peso llegue a la pérdida por varios caminos a la vez, y la regla de la cadena de una variable no cubre ese caso. Dentro de un camino las derivadas se multiplican; entre caminos se suman. Apilar esas sumas da la jacobiana, y con ella derivar una composición vuelve a ser un producto de matrices. dice qué ocurre cuando un peso influye en la pérdida por varios sitios; backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. consigue todas las derivadas de una red con una sola pasada del final al principio, sin sondear un peso cada vez. Falta encajarlas en un bucle, y el resultado tiene nombre propio: backpropagation through time (BPTT). Lo que esta lección hace con él no es enunciarlo, es derivarlo entero y comprobar, casilla por casilla, que sus gradientes son los que un sondeo numérico confirma.

Desplegar el bucle deja la red como una fila de pasos, y sobre esa fila la vuelta se recorre a mano. La pérdida está al final, colgada del último estado; para llegar a un peso, su influencia tiene que volver por donde vino, del último estado al anterior y del anterior al de más atrás, cruzando en cada salto la misma $\mathbf{W}_{hh}$. No hay otro camino de vuelta porque no hubo otro de ida.

El error que vuelve, un paso a la vez

Fijemos una secuencia —un documento— y derivemos para ella sola, así que la pérdida es $\ell$, la de un ejemplo, como en todo el bloque anterior desde la lección sobre funciones de pérdidaBloque 2 · Lección 5Funciones de pérdida: MSE y entropía cruzadaUna pérdida resume en un número lo mal que lo hace la red, y entre dos candidatas decide su derivada. El error cuadrático medio entrega su corrección más pequeña justo donde la red se equivoca con más seguridad; la entropía cruzada, que sale de leer la salida como probabilidad, deja esa derivada en la diferencia entre lo predicho y la etiqueta.; la media sobre el batch, $\mathcal{L} = \frac{1}{B}\sum_i \ell_i$, promedia estos gradientes por documento y es un nivel de más arriba que no toca nada de lo que sigue. La respuesta se lee del último estado, igual que en la lección anterior:

de modo que los pesos de la recurrencia llegan a la pérdida por un único sitio: a través de $\mathbf{h}_T$. Todo lo demás de la vuelta es reconstruir, paso a paso, cómo cada estado afecta a ese último.

Dale un nombre a lo que el bloque anterior dejó sin nombrar. La preactivación del paso $t$ —el argumento del $\tanh$— es

y llamemos error del paso $t$, y $\boldsymbol{\delta}_t \in \mathbb{R}^{d_h}$, al gradiente de la pérdida respecto de esa preactivación, $\boldsymbol{\delta}_t = \nabla_{\mathbf{p}_t}\,\ell$. Es exactamente el $\boldsymbol{\delta}^{(l)}$ de la lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. —el error de una capa, en su preactivación—, sólo que el índice ya no cuenta capas sino pasos del tiempo.

Ese error se calcula del final al principio, y en dos movimientos por paso. El $\tanh$ se aplica coordenada a coordenada, así que pasar de $\mathbf{h}_t$ a $\mathbf{p}_t$ es multiplicar por su pendiente, y esa pendiente, por la identidad $\tanh^{\prime} = 1 - \tanh^{2}$ de la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín., es $\mathbf{1} - \mathbf{h}_t \odot \mathbf{h}_t$: se lee directamente del estado que la ida ya guardó, sin conservar $\mathbf{p}_t$. Queda el otro factor, $\nabla_{\mathbf{h}_t}\ell$, y tiene dos casos según de dónde le llegue a $\mathbf{h}_t$ la pérdida. En el último paso, sólo de la capa de salida; en los demás, sólo del paso siguiente:

El arranque, $\boldsymbol{\delta}_T$, es la capa de salida de la lección anterior derivada hacia atrás: la sigmoide con la entropía cruzada entrega $\hat{y} - y$, y $\mathbf{W}_{hy}^{\top}$ lo reparte entre las $d_h$ coordenadas del estado. La recurrencia es lo demás, y son los dos movimientos de la lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. sin ninguna variación: transporta el error con $\mathbf{W}_{hh}^{\top}$ y lo enmascara con la pendiente del $\tanh$. Lo único distinto es que el transporte usa siempre la misma matriz —guárdalo, porque es la mitad de una lección más adelante, la del gradiente que se desvaneceMás adelante · Bloque 3 · Lección 4El gradiente que se desvaneceMultiplicar por la misma matriz recurrente en cada paso vuelve el gradiente exponencial en la distancia: el radio espectral de W_hh decide si se desvanece o explota, la saturación del tanh solo agrava lo primero, y el recorte del gradiente frena la explosión pero no rescata lo desvanecido —que es lo que obligará a cambiar de arquitectura—..

El gradiente del peso compartido es una suma

Con un error por paso en la mano, los gradientes de los pesos salen sin recorrer nada más —y ahí aparece la suma que la lección anterior anunció—. Mira dónde interviene $\mathbf{W}_{hh}$: en la preactivación de cada paso, $\mathbf{p}_t = \mathbf{W}_{hh}\mathbf{h}_{t-1} + \dots$, con $t$ de $1$ a $T$. Es un solo peso alcanzado por $T$ caminos, uno por posición, y la regla de la cadenaBloque 2 · Lección 7La regla de la cadena, en serioUna capa oculta hace que un mismo peso llegue a la pérdida por varios caminos a la vez, y la regla de la cadena de una variable no cubre ese caso. Dentro de un camino las derivadas se multiplican; entre caminos se suman. Apilar esas sumas da la jacobiana, y con ella derivar una composición vuelve a ser un producto de matrices. del bloque anterior ya zanjó qué hacer con eso: entre caminos se suma. Cada camino aporta lo que la lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. deja para una preactivación —el error por la entrada transpuesta—, y el total es la suma de las $T$ aportaciones:

Léelas al lado de las del bloque anterior y verás que son las mismas. Allí el gradiente de una capa era $\boldsymbol{\delta}^{(l)}\left(\mathbf{h}^{(l-1)}\right)^{\top}$, un solo producto exterior; aquí es ese producto exterior sumado sobre los pasos, porque allí cada matriz aparecía una vez y aquí $\mathbf{W}_{hh}$ aparece $T$ veces. Esa suma es la única diferencia entre backpropagation y backpropagation through time, y es el precio exacto de compartir: una matriz, $T$ trabajos, $T$ aportaciones que recoger.

Dos comprobaciones cierran la cuenta. La primera es de formas, el reflejo de la lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante.: cada sumando de $\nabla_{\mathbf{W}_{hh}}\ell$ es $d_h \times d_h$, y la suma también, así que el gradiente tiene la forma de la matriz que corrige por más larga que sea la secuencia —$T$ decide cuántos términos se suman, no el tamaño del resultado—. La segunda mira el primer término: en $\nabla_{\mathbf{W}_{hh}}\ell$ el sumando de $t = 1$ es $\boldsymbol{\delta}_1\mathbf{h}_0^{\top}$, y como $\mathbf{h}_0 = \mathbf{0}$ es la matriz nula. Cuadra con la lección anterior, donde $\mathbf{h}_1 = \tanh\left(\mathbf{W}_{xh}\mathbf{x}_1 + \mathbf{b}_h\right)$ no llevaba término de $\mathbf{W}_{hh}$: el primer paso no usó esa matriz, así que no le debe gradiente. En $\nabla_{\mathbf{W}_{xh}}\ell$, en cambio, el término de $t = 1$ sí cuenta, porque $\mathbf{x}_1$ es un token de verdad.

Quedan los pesos de la salida, $\mathbf{W}_{hy}$ y $\mathbf{b}_y$, y no traen nada nuevo. Aparecen una sola vez —la respuesta se lee una sola vez, al final—, así que su gradiente es un producto exterior sin suma, $\nabla_{\mathbf{W}_{hy}}\ell = \left(\hat{y} - y\right)\mathbf{h}_T^{\top}$: la capa de salida del bloque anterior, tal cual. La suma sobre el tiempo es asunto de los tres pesos compartidos, y de nadie más.

BPTT en NumPy, contra el sondeo numérico

La misma comprobación de la lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante., aplicada aquí: derivar a mano y contrastar cada número contra un sondeo que mueve el peso un poquito y mide cómo cambia la pérdida. Una RNN de juguete con semilla fija, un estado de $d_h = 3$ y una secuencia de $T = 5$. Ejecútala y mira dos cosas: la aportación de cada paso a $\nabla_{\mathbf{W}_{hh}}$ —la última, la de $t = 1$, sale cero— y la línea final.

Lee la salida contra la derivación. La lista de aportes tiene cinco números, uno por paso, y el último es cero exacto: el paso $t = 1$ multiplica por $\mathbf{h}_0 = \mathbf{0}$ y no le pide nada a $\mathbf{W}_{hh}$, tal como decía la cuenta. Y la última línea es la lección: los gradientes de los cinco grupos de pesos coinciden con el sondeo hasta $10^{-10}$, que es el error del sondeo y no del algoritmo. La suma sobre el tiempo no es una aproximación ni un apaño; es el gradiente exacto, y el sondeo lo confirma número a número.

Comprueba tu intuición

Cinco preguntas: qué forma tiene el gradiente del peso compartido, de dónde sale su suma, cómo es la recurrencia hacia atrás, qué acumula el sesgo y qué obliga a guardar la vuelta.

import numpy as np
 
deltas = [
    np.array([1.0, -2.0]),
    np.array([0.5, 0.5]),
    np.array([-1.0, 1.0]),
]
g = np.zeros(2)
for d in deltas:
    g += d
print(g)
 

Y la vuelta entera escrita por ti, que es la pieza que faltaba para entrenar la RNN de la lección anterior.

El gradiente ya está, exacto y comprobado, y trae dentro una advertencia que aún no hemos leído. La recurrencia hacia atrás multiplica por $\mathbf{W}_{hh}^{\top}$ en cada paso —la misma matriz, una vez por posición—, y además enmascara con las pendientes $1 - \mathbf{h}_t \odot \mathbf{h}_t$, esas que la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín. ya te enseñó a apagarse cuando el estado se satura. Un error que sale de la posición $T$ y tiene que llegar hasta la $1$ cruza ese producto decenas de veces, y multiplicar tantas veces por una misma matriz hace una de dos cosas: encoge hacia nada, o se dispara.

Cualquiera de las dos rompe justo lo que la RNN venía a arreglar. Si el gradiente que conecta la primera posición con la pérdida llega desvanecido, la red no puede aprender que algo del principio del documento importaba para el final —la dependencia larga, que era el motivo de tener memoria—. Cuánto encoge o crece, y por qué depende de una sola propiedad de $\mathbf{W}_{hh}$, es la siguiente lección, sobre el gradiente que se desvanece: la derivamos con cuidado y la vemos, en una gráfica, caer en picado con la distancia.