Descenso de gradiente

Ya se puede escribir entera la pregunta del entrenamiento, y escribirla no la resuelve. La lección anterior, sobre funciones de pérdida, dejó puesta la última pieza: una regla que compara lo que la red contesta con lo que debía contestar y lo resume en un número. Buscar los parámetros que lo hacen mínimo ya es una pregunta bien planteada, y sigue sin haber forma de contestarla probando. La red de la lección sobre el forward passBloque 2 · Lección 4El forward pass en forma matricialUna capa entera cabe en un producto de matrices, y un batch entero cabe en ese mismo producto con una fila por ejemplo. De ahí sale la transpuesta —los ejemplos se apilan por filas y un ejemplo es una columna— y de encadenar esos productos de la entrada a la salida sale el forward pass, cuyo coste en parámetros no depende de cuántos ejemplos entren a la vez. guarda $41$ números; con un vocabulario de veinte mil entradas y una capa oculta de $128$ neuronas son $2\,560\,257$, y cada uno de ellos es un número real.

Hay, en cambio, una pregunta mucho más pequeña que sí se contesta. Coge uno solo de esos $41$ parámetros, súbelo una centésima, deja los otros $40$ quietos y vuelve a evaluar la pérdida: si ha subido, ese parámetro iba en la dirección equivocada, y si ha bajado, iba bien. Es una respuesta local —no dice dónde está el mínimo, dice hacia dónde queda el suelo desde aquí— y, llevada al límite, tiene nombre desde el siglo XVII: es la derivada parcial de la pérdida respecto de ese parámetro. Sondear los $41$ cuesta $41$ evaluaciones. Derivar los da sin sondear ninguno, y para una neurona la cuenta cabe en una línea; conseguirla con capas ocultas de por medio ocupa el resto del bloque.

Antes de derivar nada, mira el terreno. Fija todos los parámetros de una red menos dos: la pérdida pasa a ser una función de esos dos números, y una función de dos variables se dibuja como una superficie con valles y laderas. La del explorable no sale de ninguna red: me la he inventado para que quepa en un plano y tenga dos fondos en vez de uno.

El descenso no compara los dos valles, porque no los ve. Desde donde está tiene acceso a una sola cosa —cuánto cambia la pérdida al moverse un poco en cada dirección— y con eso decide el paso siguiente.

El gradiente apunta cuesta arriba, y por eso se resta

Llamemos $\theta$ a todos los parámetros de la red a la vez —los pesos y los sesgos de todas las capas, apilados en un solo vector de $P$ coordenadas— y $\mathcal{L}(\theta)$ a la pérdida sobre el batch. El gradiente es el vector que reúne una derivada parcial por parámetro, $\nabla_{\theta}\mathcal{L} \in \mathbb{R}^{P}$. Cada una de sus coordenadas dice a qué ritmo cambia la pérdida cuando se mueve un parámetro y los demás se quedan quietos: lo que medía el sondeo de una centésima, ahora exacto y sin evaluar nada dos veces. Para la neurona de la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada., con sus pesos $\mathbf{w} \in \mathbb{R}^{d}$ y su sesgo $b$, son $d + 1$ números:

Lo primero que hay que ver es que $\nabla_{\theta}\mathcal{L}$ tiene la misma forma que $\theta$. No es casualidad: es lo que permite restar el uno del otro.

Falta justificar por qué se resta ése y no otra cosa. Toma una dirección cualquiera, un vector $\mathbf{u} \in \mathbb{R}^{P}$ de longitud $1$, y pregunta cuánto cambia la pérdida al avanzar un poco en ella. Eso es la derivada direccional, que para una función con derivadas parciales es un producto escalar,

que está acotado. La desigualdad de Cauchy-Schwarz da $\left\lvert \left(\nabla_{\theta}\mathcal{L}\right)^{\top}\mathbf{u} \right\rvert \leq \lVert \nabla_{\theta}\mathcal{L} \rVert \, \lVert \mathbf{u} \rVert = \lVert \nabla_{\theta}\mathcal{L} \rVert$, con igualdad únicamente cuando $\mathbf{u}$ es paralela al gradiente. De todas las direcciones, entonces, la del gradiente es la que más sube la pérdida y la contraria la que más la baja. Ninguna otra baja más por unidad de paso.

De ahí sale la regla entera. Partiendo de unos parámetros iniciales $\theta_0$, cada paso resta el gradiente escalado:

donde el subíndice cuenta pasos —$\theta_5$ son los parámetros después de cinco pasos, no la quinta coordenada de nada— y $\eta > 0$ es la tasa de aprendizaje (learning rate, que es como la vas a encontrar escrita en cualquier librería), el único número de la fórmula que eliges tú. Eso es el descenso de gradiente, y no tiene más piezas.

Que repetirlo baje la pérdida se ve en la aproximación de primer orden. Cerca de $\theta_t$ la pérdida se parece a su plano tangente, $\mathcal{L}(\theta_t + \Delta) \approx \mathcal{L}(\theta_t) + \left(\nabla_{\theta}\mathcal{L}\right)^{\top}\Delta$, y el paso del descenso es precisamente $\Delta = -\eta\,\nabla_{\theta}\mathcal{L}$, así que

Lo que se resta es una norma al cuadrado, luego no es negativo: mientras el gradiente no sea nulo, el paso baja. Y toda la deuda está en el signo de esa ecuación, que es un $\approx$: la igualdad es del plano tangente, no de la pérdida, y sólo vale «cerca». Cuánto es cerca lo decide $\eta$.

Una concesión, dicha en voz alta: el batch de esta lección son las diez reseñas enteras, así que cada paso mira todos los ejemplos antes de mover nada. Partirlo en trozos y dar un paso por trozo hace falta cuando los conjuntos son grandes, y el del curso tiene diez ejemplos.

Un paso demasiado largo sube la pérdida

Para ver qué hace $\eta$ conviene una pérdida cuya cuenta salga entera, así que tomemos la más pequeña que existe: un solo parámetro y $\mathcal{L}(w) = w^{2}$, con el mínimo en $w = 0$ y $\dfrac{d\mathcal{L}}{dw} = 2w$. La regla queda

una multiplicación por la misma constante en cada paso. Iterándola desde $w_0$,

y una potencia tiende a cero si y sólo si la base mide menos que $1$. La condición completa es $\lvert 1 - 2\eta \rvert < 1$, es decir $0 < \eta < 1$, y el propio factor cuenta lo que pasa en cada tramo:

Ese $1$ del límite es de esta parábola y no de todas. Con $\mathcal{L}(w) = a\,w^{2}$ la derivada pasa a ser $2aw$, el factor a $1 - 2\eta a$ y la condición a $\eta < 1/a$: cuanto más se curva la pérdida, más corto tiene que ser el paso. Lo incómodo es que una red se curva de manera distinta en cada dirección, y $\eta$ es un solo número para todas.

El explorable arranca justo en ese problema, $\mathcal{L} = x^{2} + 20y^{2}$: casi plano a lo largo de $x$ y muy empinado a lo largo de $y$. La cuenta de arriba, coordenada a coordenada, pide $\eta < 1$ para la primera y $\eta < 1/20 = 0.05$ para la segunda, y manda la segunda.

Con $\eta = 0.05$ —el valor con el que arranca— el factor de la coordenada empinada vale $-1$ exacto, y la trayectoria hace en dos dimensiones lo que la cuarta fila de la tabla hace en una: alternar sin avanzar. El cuenco del primer botón es convexo —un solo fondo, así que baje quien baje llega al mismo sitio— y aguanta el deslizador entero: su dirección más empinada sólo pide $\eta < 1/3$. Que un mismo paso sirva para una dirección y no para la otra tiene arreglos con nombre propio —momentum, Adam—, y quedan fuera de este curso.

Con una sola capa, el gradiente sale de una línea

Falta bajar de $\theta$ a un parámetro concreto, y con la neurona de las reseñas la cuenta está medio hecha. Es una neurona con sigmoide en la salida y entropía cruzada como pérdida, que es justo el par que la lección anterior derivó: para un ejemplo, $\partial \ell / \partial z = \hat{y} - y$. Lo único que falta es cómo depende $z$ de cada peso, y eso lo da la definición misma de la neurona, $z = \mathbf{w}^{\top}\mathbf{x} + b = \sum_{j=1}^{d} w_j x_j + b$, donde cada $w_j$ aparece una sola vez, multiplicado por $x_j$:

Encadenando las dos derivadas,

que en forma vectorial es $\nabla_{\mathbf{w}}\,\ell = \left(\hat{y} - y\right)\mathbf{x}$. Esa fórmula dice dos cosas y conviene separarlas. El error $\hat{y} - y$ es un único número que multiplica a todas las coordenadas por igual: fija cuánto se corrige. Y $\mathbf{x}$ decide el reparto: una entrada del vocabulario que no aparece en la reseña tiene $x_j = 0$ y su peso no se mueve ni una milésima, y una que aparece dos veces tira el doble. La neurona sólo aprende sobre lo que ha visto.

La pérdida del batch es la media de las $B$ pérdidas por ejemplo, así que su gradiente es la media de los $B$ gradientes:

donde la segunda forma es la primera escrita como producto: con $d_L = 1$ las predicciones y las etiquetas son columnas de $B$ números, $\mathbf{X}^{\top}$ tiene forma $d_0 \times B$, y el resultado es la columna de $d_0$ coordenadas que hace falta. El sesgo sale de la misma suma sin el $\mathbf{x}_i$: es $\partial \mathcal{L} / \partial b = \frac{1}{B}\sum_i \left(\hat{y}_i - y_i\right)$.

Todo esto ha costado dos derivadas porque $z$ depende de $\mathbf{w}$ directamente: entre un peso y la pérdida hay una suma y una sigmoide, y nada más.

Descenso a mano, y una neurona que aprende sola

La primera celda es la parábola de arriba, sin red y sin NumPy: cinco pasos desde $w_0 = 1$ con las tres tasas de la figura, y al lado la forma cerrada. Ejecútala y compara los dos bloques.

Las tres filas son las tres de la figura. Con $\eta = 0.10$ el factor vale $0.8$ y cinco pasos dejan $w$ en $0.32768$: va bien y va despacio. Con $0.40$ el factor es $0.2$ y en dos pasos $w$ ya vale $0.04$. Con $1.05$ el factor es $-1.1$, los signos alternan, las magnitudes crecen y la pérdida final vale $2.59$: dos veces y media la del punto de partida, después de cinco pasos dedicados a bajarla.

La segunda celda entrena de verdad. La neurona es la de la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada., con las mismas diez reseñas y el mismo vocabulario, y esta vez sus pesos empiezan en cero: con $\mathbf{w} = \mathbf{0}$ y $b = 0$ la sigmoide contesta $0.5$ a las diez, que es la peor de las tres redes que ordenó la lección anterior. No hay un solo número al azar, así que verás estos valores y no otros. Ejecútala y mira caer la pérdida.

La primera línea es el punto de partida: pérdida $0.6931$, que es $\log 2$, y cinco aciertos de diez, que es lo que saca cualquier red que conteste lo mismo a las diez reseñas. Veinticinco pasos después la pérdida vale $0.0896$ y los aciertos son diez, y en el paso $200$ queda en $0.0130$. Compárala con el $0.2208$ de los ocho pesos que escribí yo mirando las reseñas: el descenso pasa por delante de mi versión antes del paso $25$ y sigue bajando. Nadie le ha dicho a la neurona qué palabra significa qué.

Los pesos finales lo confirman. El mayor, $+3.289$, se lo lleva recomiendo, y el menor, $-3.023$, es el de lenta. Pero mira los dos que enseñan el límite de un conjunto de diez ejemplos: película acaba en $-2.238$ y la en $+1.221$, y ninguna de las dos opina de nada. La primera sale en cuatro reseñas negativas y en dos positivas, la segunda al contrario, y el descenso hace lo que se le pidió, que es bajar la pérdida sobre estas diez reseñas y no sobre el idioma. Con diez ejemplos, una neurona no distingue una opinión de una coincidencia.

Comprueba tu intuición

Cuatro preguntas: un descenso a mano, por qué el paso va en esa dirección, qué garantiza el método y qué no, y una actualización en NumPy.

import numpy as np
 
X = np.array([[1., 0.], [0., 2.]])
y = np.array([1., 0.])
w = np.zeros(2)
 
y_hat = 1.0 / (1.0 + np.exp(-(X @ w)))
w = w - 1.0 * (X.T @ (y_hat - y)) / len(y)
print(np.round(w, 3).tolist())
 

El método está completo y la neurona que acaba de aprender tiene una sola capa. Eso no es un detalle del ejemplo, es la condición que ha hecho posible la última sección: entre un peso y la pérdida hay dos pasos, y dos derivadas encadenadas cierran la cuenta. Pon una capa oculta en medio y el camino se ramifica. Un peso de la primera capa mueve la salida de su neurona oculta; esa salida entra en todas las neuronas de la capa siguiente, y cada una contribuye a la pérdida por su cuenta. La regla del descenso no cambia ni una letra. Lo que deja de estar disponible es el gradiente, y sin él no hay nada que restar.

La regla de la cadena que hemos usado dos veces, la de una variable, no cubre ese caso: está escrita para una cantidad que llega a la siguiente por un único camino. Cómo se deriva una composición cuando las variables intermedias son vectores, y qué objeto sustituye a la derivada cuando hay muchas entradas y muchas salidas a la vez, es la siguiente lección, sobre la regla de la cadena. Convertirla después en un procedimiento que recorra una red entera sin repetir ninguna cuenta ocupa el resto del bloque.