El gradiente que se desvanece

La lección anterior, sobre backpropagation through time (BPTT), cerró con un gradiente exacto y un cabo suelto. Exacto porque el sondeo numérico lo confirmó casilla por casilla; suelto porque la forma de calcularlo repite un mismo gesto sin que nadie mirara sus consecuencias: para arrastrar el error de una posición a la de más atrás hay que multiplicarlo por la matriz recurrente $\mathbf{W}_{hh}$, y en una secuencia de cuarenta tokens ese producto se repite casi cuarenta veces. Esta lección mide qué le hace al gradiente repetir la misma multiplicación tantas veces seguidas, y encuentra que todo se decide en un único número asociado a $\mathbf{W}_{hh}$.

Y no es una curiosidad numérica: en juego está la única razón para preferir una RNN a la red del principio del bloque. Toma una reseña que arranca con Dudo que a alguien le sirva y, treinta palabras más tarde, cierra con su valoración. Ese Dudo inicial invierte el signo de todo lo que viene después, pero la red solo puede aprender esa conexión si el gradiente calculado en la última palabra consigue volver hasta la primera. Si por el camino se apaga, la red jamás registrará que el principio importaba, y la memoria que la definía se quedará, en la práctica, en memoria de lo reciente.

Antes de mirar la matriz entera, quítale coordenadas hasta que quede una sola. Con $d_h = 1$ el estado es un número, $\mathbf{W}_{hh}$ es un número $w$, y arrastrar el error un paso hacia atrás es multiplicarlo por $w$. Repetir el paso $d$ veces lo multiplica por $w^{d}$.

Y $w^{d}$ no tiene término medio. Si $\lvert w \rvert < 1$ se hunde: con $w = 0.5$, cuarenta pasos dejan el error en $0.5^{40} \approx 9 \times 10^{-13}$, doce órdenes de magnitud por debajo de donde salió. Si $\lvert w \rvert > 1$ se dispara: $1.5^{40} \approx 1.1 \times 10^{7}$. Solo $\lvert w \rvert = 1$ mantiene el error en su tamaño, y es un filo de un solo punto —basta desviarse un pelo para caer a un lado o al otro—. Con más de una coordenada, ese papel de $w$ lo hereda una propiedad de la matriz; el explorable la llama radio espectral, y la formalización la define enseguida. Deslízala a un lado y a otro de $1$ y verás las dos mitades del fenómeno: por debajo, la curva se desploma; por encima, se va por arriba.

El producto que conecta dos posiciones

Volvamos a la recurrencia hacia atrás de la lección anterior y sigámosla más de un paso. Allí, el error de un paso salía del siguiente con dos gestos —transportar y enmascarar—:

El $\odot$ con la pendiente del $\tanh$ es multiplicar por una matriz diagonal —$\text{diag}\!\left(\mathbf{1} - \mathbf{h}_t \odot \mathbf{h}_t\right)$, con esas pendientes en la diagonal y ceros fuera—, así que un paso de la vuelta multiplica $\boldsymbol{\delta}_{t+1}$ por dos matrices: primero $\mathbf{W}_{hh}^{\top}$, luego esa diagonal. Encadena la recurrencia desde el último paso hasta uno lejano $k$ y las dos se repiten, una pareja por posición:

El producto tiene $T - k$ parejas, una por cada paso entre $k$ y $T$ —la distancia que el error recorre—. Y dentro de cada pareja, la misma $\mathbf{W}_{hh}^{\top}$ que en todas las demás: esto no es una capa distinta por posición, como lo eran los bloques $\mathbf{W}^{(1)}_t$ de la primera capa concatenada de la lección sobre por qué el MLP falla con secuenciasBloque 3 · Lección 1Por qué el MLP falla con secuenciasPoner los vectores de los tokens en fila mete el orden dentro de la entrada, y cobra dos cosas por ello: una longitud fija que hay que truncar o rellenar, y una primera capa partida en tantos bloques como posiciones, cada uno ajustado sólo por lo que cae en la suya. Una red que aprende «no» en las cuatro primeras posiciones acierta el 0.500 cuando «no» aparece en la quinta., sino una sola matriz elevada, en la práctica, a la potencia de la distancia. Ese es el gesto que la lección anterior repetía sin mirarlo.

Por qué decae o explota

Un producto de matrices es difícil de mirar; su tamaño, no. Toma normas a los dos lados y usa que la norma de un producto no supera el producto de las normas:

Los dos factores de cada pareja tienen un techo. El de la diagonal es la pendiente del $\tanh$, que nunca pasa de $1$ y en cuanto el estado se satura se acerca a $0$ —son las bandas rojas que el explorador de activaciones de la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín. ya te dejó ver—; llámalo $\gamma \le 1$. El de $\mathbf{W}_{hh}^{\top}$ es el único hecho nuevo que necesitas aquí: una matriz estira la longitud de un vector como mucho por su mayor valor singular $\sigma_{\max}$, así que multiplicar por ella $d$ veces la estira, a lo sumo, por $\sigma_{\max}^{d}$. Junta las dos cotas sobre las $T - k$ parejas:

Ahí está el exponente. El error que llega a la posición $k$ es, como mucho, el del final multiplicado por un número elevado a la distancia. Si ese número es menor que $1$, el gradiente se desvanece —cae en picado, y sin remedio, porque $\gamma \le 1$ solo puede empujarlo más abajo, nunca rescatarlo—. Si es mayor que $1$, explota.

Cuál de los dos lados te toca lo decide una propiedad de $\mathbf{W}_{hh}$: su radio espectral $\rho(\mathbf{W}_{hh})$ —el mayor de los módulos de sus valores propios—, que marca el ritmo del producto a la larga. Por debajo de $1$ el gradiente se hunde, por encima se dispara, y entre las dos cosas no hay más que ese filo. No necesitas calcular valores propios en esta lección; lo único que hace falta es saber que ese número existe, que gobierna el exponente y que es el que el explorable te dejó mover.

Verlo y domarlo en NumPy

Dos celdas. La primera reduce todo al caso de una coordenada y mira el exponente crudo; la segunda ataca la mitad del problema que sí tiene un parche barato.

El caso escalar no es un juguete: es la fórmula de arriba con $d_h = 1$, donde $\sigma_{\max}$, $\rho$ y $\lvert w \rvert$ son el mismo número. Ejecútala y lee la fila del medio —$w = 1$— contra las otras dos.

La primera fila se hunde, la última se dispara y la del medio no se mueve, tal como decía la intuición. Con $w = 0.5$ el error llega a los cuarenta pasos convertido en $9 \times 10^{-13}$ de lo que era, y ningún descenso de gradiente aprende de una señal tan pequeña. Y esto es el mejor caso: la máscara del $\tanh$, en cuanto el estado se satura, lo empuja todavía más abajo.

La explosión, en cambio, tiene una respuesta directa. Si el problema es que la norma del gradiente crece sin freno, ponle un techo: fija un umbral $\theta$ y, cuando $\lVert \mathbf{g} \rVert$ lo pase, reescala el gradiente para devolverlo justo a ese tamaño. Es el recorte del gradiente (gradient clipping):

El $\min$ con $1$ es la clave: si el gradiente ya es pequeño, el factor vale $1$ y no lo toca; solo actúa sobre el que se ha pasado, y lo hace multiplicándolo por un número positivo, que cambia su longitud pero no su dirección. Compruébalo.

El gradiente normal pasa intacto; el explotado, con norma casi $30$, sale recortado a $5.00$ exacto, y el coseno con el original es $1$ —misma dirección, otro tamaño—. El recorte salva el entrenamiento cuando el gradiente explota y no cuesta casi nada. Lo que no hace —y conviene decirlo en voz alta— es nada por el desvanecimiento: un gradiente que ya llegó valiendo $10^{-13}$ tiene norma minúscula, el $\min$ vale $1$, y se queda como estaba.

Comprueba tu intuición

Cinco preguntas: qué desvanece o explota el gradiente, qué arregla el recorte y qué no, cómo se ve el exponente en un número, si la máscara del $\tanh$ puede salvar la situación y qué se pierde cuando no.

w = 0.5
for d in [0, 4, 8]:
    print(round(w ** d, 4))
 

El recorte le pone un techo a la explosión, pero deja el otro lado del problema donde estaba. Un gradiente que se ha multiplicado camino a cero no se recupera multiplicándolo por $1$, y ninguna elección de $\mathbf{W}_{hh}$ arregla las dos cosas a la vez: bajar su radio espectral para no explotar es justo lo que garantiza el desvanecimiento. El problema no está en los pesos, sino en el camino —cualquier ruta que multiplique por la misma matriz en cada paso acaba en uno de los dos extremos—.

La salida es cambiar el camino. Hace falta una vía por la que el estado avance de un paso al siguiente sumando, en lugar de volver a pasar por $\mathbf{W}_{hh}$: sobre una suma el gradiente fluye sin multiplicarse una vez por posición, y así ni se hunde ni se dispara. Esa vía aditiva es el estado de celda de la LSTM (long short-term memory), y construirla —una compuerta cada vez, cada una arreglando un fallo concreto de la RNN vanilla— es la siguiente lección, sobre la LSTM: memoria con compuertas.