El gradiente que se desvanece

La lección anterior, sobre backpropagation through time (BPTT), cerró con un gradiente exacto y un cabo suelto. Exacto porque el sondeo numérico lo confirmó casilla por casilla; suelto porque la forma de calcularlo repite un mismo gesto sin que nadie mirara sus consecuencias: para arrastrar el error de una posición a la de más atrás hay que multiplicarlo por la matriz recurrente $\mathbf{W}_{hh}$, y en una secuencia de cuarenta tokens ese producto se repite casi cuarenta veces. Esta lección mide qué le hace al gradiente repetir la misma multiplicación tantas veces seguidas, y encuentra el número de $\mathbf{W}_{hh}$ que le pone techo al resultado.

Y no es una curiosidad numérica: en juego está la única razón para preferir una RNN a la red del principio del bloque. Toma una reseña que arranca con Dudo que a alguien le sirva y, treinta palabras más tarde, cierra con su valoración. Ese Dudo inicial invierte el signo de todo lo que viene después, pero la red solo puede aprender esa conexión si el gradiente calculado en la última palabra consigue volver hasta la primera. Si por el camino se apaga, la red jamás registrará que el principio importaba, y la memoria que la definía se quedará, en la práctica, en memoria de lo reciente.

Antes de mirar la matriz entera, quítale coordenadas hasta que quede una sola. Con $d_h = 1$ el estado es un número, $\mathbf{W}_{hh}$ es un número $w$, y arrastrar el error un paso hacia atrás es multiplicarlo por $w$. Repetir el paso $d$ veces lo multiplica por $w^{d}$.

Y $w^{d}$ no tiene término medio. Si $\lvert w \rvert < 1$ se hunde: con $w = 0.5$, cuarenta pasos dejan el error en $0.5^{40} \approx 9 \times 10^{-13}$, doce órdenes de magnitud por debajo de donde salió. Si $\lvert w \rvert > 1$ se dispara: $1.5^{40} \approx 1.1 \times 10^{7}$. Solo $\lvert w \rvert = 1$ mantiene el error en su tamaño, y es un filo de un solo punto: basta desviarse un pelo para caer a un lado o al otro. Con más de una coordenada, $w$ pasa a ser una matriz y su papel se reparte entre dos números que la formalización separa enseguida: uno le pone techo al gradiente paso a paso, máscara incluida; el otro marca el ritmo de la matriz multiplicada por sí misma, a la larga. El explorable enseña el segundo, el radio espectral, en una recurrencia sin máscara (todas las pendientes de la $\tanh$ en $1$). Deslízalo a un lado y a otro de $1$ y verás las dos mitades del fenómeno: por debajo, la curva se desploma; por encima, se va por arriba.

El producto que conecta dos posiciones

Volvamos a la recurrencia hacia atrás de la lección anterior y sigámosla más de un paso. Allí, el error de un paso salía del siguiente con dos gestos (transportar y enmascarar):

El $\odot$ con la pendiente de la $\tanh$ es multiplicar por una matriz diagonal ($\text{diag}\!\left(\mathbf{1} - \mathbf{h}_t \odot \mathbf{h}_t\right)$, con esas pendientes en la diagonal y ceros fuera), así que un paso de la vuelta multiplica $\boldsymbol{\delta}_{t+1}$ por dos matrices: primero $\mathbf{W}_{hh}^{\top}$, luego esa diagonal. Encadena la recurrencia desde el último paso hasta uno lejano $k$ y las dos se repiten, una pareja por posición:

El producto tiene $T - k$ parejas, una por cada paso entre $k$ y $T$ (la distancia que el error recorre). Y dentro de cada pareja, la misma $\mathbf{W}_{hh}^{\top}$ que en todas las demás: esto no es una capa distinta por posición, como lo eran los bloques $\mathbf{W}^{(1)}_t$ de la primera capa concatenada de la lección sobre por qué el MLP falla con secuenciasBloque 3 · Lección 1Por qué el MLP falla con secuenciasPoner los vectores de los tokens en fila mete el orden dentro de la entrada, y cobra dos cosas por ello: una longitud fija que hay que truncar o rellenar, y una primera capa partida en tantos bloques como posiciones, cada uno ajustado sólo por lo que cae en la suya. Una red que aprende «no» en las cuatro primeras posiciones acierta el 0.500 cuando «no» aparece en la quinta., sino una sola matriz elevada, en la práctica, a la potencia de la distancia. Ese es el gesto que la lección anterior repetía sin mirarlo.

Por qué decae o explota

Un producto de matrices es difícil de mirar; su tamaño, no. Toma normas a los dos lados y usa que la norma de un producto no supera el producto de las normas:

Ese $\lVert \cdot \rVert$ ya no mide un vector: mide una matriz. Para una matriz $\mathbf{A}$ cualquiera se define como

el mayor factor por el que $\mathbf{A}$ puede estirar la longitud de un vector, tomando el peor caso sobre todas las direcciones posibles. Esa definición es la que deja $\lVert \mathbf{A}\mathbf{v} \rVert \le \lVert \mathbf{A} \rVert \lVert \mathbf{v} \rVert$ cierta para cualquier $\mathbf{v}$ (multiplica la definición por $\lVert \mathbf{v} \rVert$) y, aplicada dos veces seguidas, la que da $\lVert \mathbf{A}\mathbf{B} \rVert \le \lVert \mathbf{A} \rVert \lVert \mathbf{B} \rVert$: $\mathbf{B}$ estira como mucho $\lVert \mathbf{B} \rVert$, y $\mathbf{A}$ después estira ese resultado como mucho $\lVert \mathbf{A} \rVert$ más.

Los dos factores de cada pareja tienen un techo. Para una matriz diagonal ese máximo es directo: $\text{diag}(\mathbf{d})$ estira cada coordenada por su propia entrada, así que el peor caso es alinear $\mathbf{v}$ con la mayor en valor absoluto, y $\lVert \text{diag}(\mathbf{d}) \rVert = \max_i \lvert d_i \rvert$. Aquí cada entrada de la diagonal es una pendiente de la $\tanh$ (una por coordenada de $\mathbf{h}_t$): nunca pasa de $1$, y en cuanto esa coordenada se satura se acerca a $0$. Son las bandas rojas que el explorador de activaciones de la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín. ya te dejó ver. La mayor de todas esas pendientes, en todos los pasos de $k$ a $T - 1$, es por tanto también $\le 1$; llámala $\gamma$. El de $\mathbf{W}_{hh}^{\top}$ es la misma definición sin la comodidad de la diagonal: el único hecho nuevo que necesitas aquí es que una matriz estira la longitud de un vector como mucho por su mayor valor singular $\sigma_{\max}$, así que multiplicar por ella $d$ veces la estira, a lo sumo, por $\sigma_{\max}^{d}$. Junta las dos cotas sobre las $T - k$ parejas:

Ahí está el exponente, y con él la única condición que se sostiene pase lo que pase por el camino. El error que llega a la posición $k$ es, como mucho, el del final multiplicado por $\gamma\,\sigma_{\max}$ elevado a la distancia. Si $\gamma\,\sigma_{\max} < 1$, el gradiente se desvanece sin remedio: el techo cae en picado con la distancia y el gradiente no puede pasar por encima de él, valgan lo que valgan las máscaras. Como $\gamma \le 1$, $\sigma_{\max} < 1$ ya lo garantiza por sí solo, y la saturación solo añade margen. Lo contrario no se cumple. Si $\gamma\,\sigma_{\max} > 1$, el techo deja de sujetar el gradiente y este puede explotar, pero nada lo obliga: esa desigualdad es necesaria para la explosión, no suficiente.

La cota, además, suele sobrar: un vector concreto rara vez se estira el máximo en cada paso. Lo que $\mathbf{W}_{hh}$ hace de verdad al multiplicarse por sí misma, a la larga, lo mide otro número, su radio espectral $\rho(\mathbf{W}_{hh})$ (el mayor de los módulos de sus valores propios), que nunca pasa de $\sigma_{\max}$. En una recurrencia sin máscara, con todas las pendientes en $1$, el producto es una potencia de $\mathbf{W}_{hh}^{\top}$, y ahí $\rho$ sí decide: por debajo de $1$ el gradiente se hunde, por encima se dispara, y entre las dos cosas no hay más que ese filo. Es el número que el explorable te dejó mover.

Con las máscaras de por medio, $\rho$ deja de ser una garantía: el producto alterna $\mathbf{W}_{hh}^{\top}$ con diagonales y ya no es la potencia de una sola matriz. Lo que se sostiene entonces es $\gamma\,\sigma_{\max} < 1$, y por eso es esa la condición de verdad. No necesitas calcular valores propios en esta lección; lo que sí hace falta es saber que $\rho$ existe, que marca el ritmo de la matriz sola y que nunca supera a $\sigma_{\max}$.

Compruébalo con una matriz de verdad, sin reducirla a una sola coordenada: numpy.linalg trae svd para $\sigma_{\max}$ y eig para los valores propios que dan $\rho$.

Para esta $\mathbf{W}$, $\sigma_{\max} \approx 4.06$ pero $\rho = 0.5$: la cota con el valor singular sobrevalora el ritmo de la potencia por un factor de ocho. La tabla lo confirma. En $d = 1$ la norma cruda ya vale $\sigma_{\max}$ (coincide por construcción), y en $d = 5$ sigue por encima de $1$ (la potencia puede crecer durante varios pasos aunque $\rho < 1$ garantice que, a la larga, se hunda). Para $d = 40$ la norma cruda ya es minúscula y $\lVert \mathbf{W}^{d} \rVert^{1/d}$ baja de $0.58$, cada vez más cerca de $\rho = 0.5$: confirmando con números lo que el razonamiento de arriba solo afirmaba. Y los dos números responden a preguntas distintas: la potencia sola se hunde, pero con $\sigma_{\max} \approx 4.06$ esta $\mathbf{W}$ no garantiza nada en cuanto entran las máscaras.

Verlo y recortarlo en NumPy

La primera celda reduce todo al caso de una coordenada y mira el exponente crudo; la segunda ataca la mitad del problema que sí tiene un parche barato.

El caso escalar no es un juguete: es la fórmula de arriba con $d_h = 1$, donde $\sigma_{\max}$, $\rho$ y $\lvert w \rvert$ son el mismo número. Ejecútala y lee la fila del medio ($w = 1$) contra las otras dos.

La primera fila se hunde, la última se dispara y la del medio no se mueve, tal como decía la intuición. Con $w = 0.5$ el error llega a los cuarenta pasos convertido en $9 \times 10^{-13}$ de lo que era, y ningún descenso de gradiente aprende de una señal tan pequeña. Y esto es el mejor caso: la máscara del $\tanh$, en cuanto el estado se satura, lo empuja todavía más abajo.

La explosión, en cambio, tiene una respuesta directa. Si el problema es que la norma del gradiente crece sin freno, ponle un techo: fija un umbral $\kappa$ y, cuando $\lVert \mathbf{g} \rVert$ lo pase, reescala el gradiente para devolverlo justo a ese tamaño. Es el recorte del gradiente (gradient clipping):

El $\min$ con $1$ es la clave: si el gradiente ya es pequeño, el factor vale $1$ y no lo toca; solo actúa sobre el que se ha pasado, y lo hace multiplicándolo por un número positivo, que cambia su longitud pero no su dirección. Compruébalo.

El gradiente normal pasa intacto; el explotado, con norma casi $30$, sale recortado a $5.00$ exacto, y el coseno con el original es $1$ (misma dirección, otro tamaño). El recorte salva el entrenamiento cuando el gradiente explota y no cuesta casi nada. Lo que no hace (y conviene decirlo en voz alta) es nada por el desvanecimiento: un gradiente que ya llegó valiendo $10^{-13}$ tiene norma minúscula, el $\min$ vale $1$, y se queda como estaba.

Comprueba tu intuición

Cuatro preguntas: qué desvanece o explota el gradiente, qué arregla el recorte y qué no, si la máscara de la $\tanh$ puede salvar la situación y qué se pierde cuando no.

El recorte le pone un techo a la explosión, pero deja el otro lado del problema donde estaba. Un gradiente que se ha multiplicado camino a cero no se recupera multiplicándolo por $1$, y ninguna elección de $\mathbf{W}_{hh}$ arregla las dos cosas a la vez: bajar $\sigma_{\max}$ por debajo de $1$ para que no pueda explotar es justo lo que garantiza que se desvanezca. El problema no está en los pesos, sino en el camino: cualquier ruta que multiplique por la misma matriz en cada paso acaba en uno de los dos extremos.

La salida es cambiar el camino. Hace falta una vía por la que el estado avance de un paso al siguiente sumando, en lugar de volver a pasar por $\mathbf{W}_{hh}$: sobre una suma el gradiente fluye sin multiplicarse una vez por posición, y así ni se hunde ni se dispara. Esa vía aditiva es el estado de celda de la LSTM (long short-term memory), y construirla (una compuerta cada vez, cada una arreglando un fallo concreto de la RNN vanilla) es la siguiente lección, sobre la LSTM: memoria con compuertas.