Implementar un MLP desde cero

Backpropagation entrega el gradiente de una red entera con una sola pasada hacia atrás, y la lección anterior lo derivó sin saltarse un paso. Lo que produjo fue una lista de números en pantalla. Un gradiente impreso no mueve ningún peso: es una indicación —por dónde se baja, y cuánto le toca a cada parámetro— y alguien tiene que ejecutarla, mil veces seguidas, para que una red pase de contestar cualquier cosa a contestar bien. Ese bucle no está escrito en ninguna celda del curso. Sus cuatro piezas sí, repartidas en cuatro lecciones de este bloque, y juntarlas paga además una deuda abierta desde el principio: los ocho pesos de la neurona de reseñas y los siete que separan las frases de XOR (exclusive or, o exclusivo) los escribí yo, mirando los datos.

El sitio donde comprobarlo está elegido desde entonces. La lección sobre XOR y las capas ocultasBlock 2 · Lesson 3XOR: por qué necesitamos capas ocultasCuatro frases españolas que se distinguen por una negación caen en las esquinas de un cuadrado, con cada clase en una diagonal, y ninguna neurona sola las clasifica: la preactivación es afín y su media sobre las dos clases da el mismo número. Dos neuronas en paralelo y una tercera encima sí, porque la capa oculta cambia las coordenadas. demostró que ninguna recta deja está bien y no está mal a un lado y las otras dos frases al otro, y resolvió después las cuatro con una capa oculta cuyos siete números elegí a mano. Si el bucle funciona, la red tiene que dar con unos pesos que acierten las cuatro —no necesariamente los míos— partiendo de números que no significan nada. Y si no funciona se nota enseguida: con cuatro ejemplos y dos coordenadas no hay dónde esconder un fallo.

Las cuatro piezas no están sueltas. Están en un orden, y el orden se cierra sobre sí mismo.

Del ejemplo al batch: la vuelta, apilada por filas

La lección anterior derivó la vuelta para un ejemplo, con vectores columna. La ida ya está escrita para un batch entero desde la lección sobre el forward passBlock 2 · Lesson 4El forward pass en forma matricialUna capa entera cabe en un producto de matrices, y un batch entero cabe en ese mismo producto con una fila por ejemplo. De ahí sale la transpuesta —los ejemplos se apilan por filas y un ejemplo es una columna— y de encadenar esos productos de la entrada a la salida sale el forward pass, cuyo coste en parámetros no depende de cuántos ejemplos entren a la vez.: un ejemplo por fila en $\mathbf{X} \in \mathbb{R}^{B \times d_0}$, y de ahí $\mathbf{H}^{(l)} \in \mathbb{R}^{B \times d_l}$ capa a capa. Falta el mismo trato para la vuelta, y son dos cambios: uno de forma y otro de tamaño.

El de forma es apilar. Llamemos $\boldsymbol{\Delta}^{(l)} \in \mathbb{R}^{B \times d_l}$ al error del batch en la capa $l$: su fila $i$ es el $\boldsymbol{\delta}^{(l)}$ del ejemplo $i$, tumbado, igual que la fila $i$ de $\mathbf{H}^{(l)}$ es su activación tumbada. Mayúscula para el batch y minúscula para el ejemplo, que es el convenio del bloque. La capa de salida entra igual que antes, ahora con $B$ filas a la vez:

Y la recurrencia se transpone entera. Tomemos la de la lección anterior para el ejemplo $i$, $\boldsymbol{\delta}^{(l)}_i = \left(\left(\mathbf{W}^{(l+1)}\right)^{\top}\boldsymbol{\delta}^{(l+1)}_i\right) \odot \varphi^{\prime}\left(\mathbf{z}^{(l)}_i\right)$, y transpongámosla. Transponer un producto le da la vuelta al orden de sus factores, y el producto de Hadamard opera coordenada a coordenada, de modo que no se entera:

que es la fila $i$ de lo que buscamos, escrita con las filas $i$ de $\boldsymbol{\Delta}^{(l+1)}$ y de $\mathbf{Z}^{(l)}$. Apilar las $B$ deja

donde lo que hay que mirar es lo que ha desaparecido: la transpuesta. No es un descuido ni una convención distinta. La ida ganó una transpuesta al pasar a filas —$\mathbf{W}^{(l)}\mathbf{h}$ se convirtió en $\mathbf{H}\left(\mathbf{W}^{(l)}\right)^{\top}$— y la vuelta la pierde por el mismo motivo, porque partía de una matriz que ya estaba transpuesta. Las dos veces es el mismo producto leído con los ejemplos en filas.

El cambio de tamaño es el $1/B$, y viene de la definición de la pérdida. $\mathcal{L}$ es la media de las $\ell$ de los $B$ ejemplos, y derivar una media es promediar las derivadas, así que el gradiente del batch es la media de los $B$ gradientes que daría la lección anterior de uno en uno. Esa media es otro producto de matrices:

con $\mathbf{1}_B \in \mathbb{R}^{B}$ el vector de unos de la lección sobre el forward passBlock 2 · Lesson 4El forward pass en forma matricialUna capa entera cabe en un producto de matrices, y un batch entero cabe en ese mismo producto con una fila por ejemplo. De ahí sale la transpuesta —los ejemplos se apilan por filas y un ejemplo es una columna— y de encadenar esos productos de la entrada a la salida sale el forward pass, cuyo coste en parámetros no depende de cuántos ejemplos entren a la vez.. La suma sobre ejemplos que la lección anterior escribía a mano es exactamente el índice que el producto de matrices recorre y descarta: por eso el resultado tiene la forma de $\mathbf{W}^{(l)}$ y no se acuerda de $B$.

Con eso, la regla del descenso de la lección sobre descenso de gradienteBlock 2 · Lesson 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola. no cambia ni una letra: $\theta_{t+1} = \theta_t - \eta\,\nabla_{\theta}\mathcal{L}(\theta_t)$, aplicada a cada matriz y a cada vector de sesgos por separado. La concesión, dicha en voz alta: cada paso mira entero el conjunto de entrenamiento —los ejemplos con etiqueta de los que dispone la red, aquí las cuatro frases—, igual que hacía aquella lección con las diez reseñas. Partirlo en trozos y dar un paso por trozo hace falta cuando es grande, y éste tiene cuatro filas.

Ya está escrito, entonces, todo lo que necesita la red de las cuatro frases: el perceptrón multicapa (multilayer perceptron, MLP) más pequeño con el que probarlo, con dos entradas, cuatro neuronas ocultas con $\tanh$ y una de salida con sigmoide, o sea $L = 2$ y $d_0, d_1, d_2 = 2, 4, 1$. Su ida ocupa una línea por capa,

con $\mathbf{X} \in \mathbb{R}^{4 \times 2}$ y $B = 4$, y su vuelta son las tres fórmulas de arriba con $L = 2$. Doce pesos y cinco sesgos: diecisiete números que hay que poner en algún sitio antes de dar el primer paso.

Cuatro neuronas iguales son una sola neurona

Poner esos diecisiete números es la decisión que ninguna fórmula anterior toma, y la respuesta cómoda —todos a cero— falla. Sigue las cuentas con esa misma red y con los diecisiete nulos. Entonces $\mathbf{Z}^{(1)} = \mathbf{0}$, y como $\tanh(0) = 0$ también $\mathbf{H}^{(1)} = \mathbf{0}$; de ahí $\hat{\mathbf{Y}} = \sigma(\mathbf{0})$, que es $1/2$ para las cuatro frases. Mete eso en los dos gradientes de arriba:

el primero porque $\mathbf{H}^{(1)}$ es nula y el segundo porque $\mathbf{W}^{(2)}$ lo es. Con $\boldsymbol{\Delta}^{(1)} = \mathbf{0}$ los dos gradientes de la primera capa también se anulan, de modo que el paso deja la red donde estaba y el siguiente encuentra el mismo punto de partida. La capa oculta no se moverá jamás.

Y el cero no es el problema, sino un caso particular de algo más ancho. Toma dos neuronas ocultas $j$ y $k$ que empiecen con los mismos pesos de entrada, el mismo sesgo y el mismo peso de salida. Lo primero les da la misma preactivación y la misma activación, $z^{(1)}_j = z^{(1)}_k$ y $h^{(1)}_j = h^{(1)}_k$; lo último hace que reciban el mismo error, $\delta^{(1)}_j = \delta^{(1)}_k$; y con el mismo error y la misma activación sus tres gradientes coinciden:

Restar cantidades iguales a cantidades iguales conserva la igualdad, así que las dos neuronas salen del paso tan idénticas como entraron. Y del siguiente. Cuatro copias de una misma neurona calculan lo que calcula una, por muchos pasos que den: la capa oculta tiene la anchura de una neurona por más que $d_1$ diga cuatro. Y una neurona sola no separa estas cuatro frases, que es justo lo que demostró la lección sobre XOR y las capas ocultasBlock 2 · Lesson 3XOR: por qué necesitamos capas ocultasCuatro frases españolas que se distinguen por una negación caen en las esquinas de un cuadrado, con cada clase en una diagonal, y ninguna neurona sola las clasifica: la preactivación es afín y su media sobre las dos clases da el mismo número. Dos neuronas en paralelo y una tercera encima sí, porque la capa oculta cambia las coordenadas..

Nada del algoritmo rompe esa igualdad, porque todo lo que hace es determinista: tiene que venir de fuera, y la fuente más barata de «distintos» es una tirada al azar. Elegir esos diecisiete números de partida es la inicialización, el único punto del entrenamiento donde interviene el azar. Su papel no es el que parece: no aporta ninguna información sobre las frases, sólo separa unas neuronas de otras para que el gradiente pueda empujarlas por caminos distintos. Cuánto valgan también importa —unos pesos diminutos se parecen demasiado al caso de arriba—, y la tercera celda lo mide. Qué escala elegir en general depende de la profundidad de la red, y aparece en el bloque 3, sobre redes recurrentes, cuando el problema pase de ser un inconveniente a ser el tema.

El bucle en NumPy, y la pérdida cayendo

La primera celda es la red con las fórmulas de arriba puestas en NumPy: la ida, la pérdida y la vuelta, sin bucle todavía. Ejecútala y mira la columna de formas y la última línea.

En la columna de formas está el reparto entero: el $4$ de los ejemplos aparece en $\mathbf{X}$, en $\mathbf{H}^{(1)}$ y en $\hat{\mathbf{Y}}$, y en ninguno de los tres gradientes, que salen con la forma de sus parámetros. La última línea comprueba el $1/B$ y da cero: los cuatro productos exteriores de la lección anterior, promediados a mano, son casilla por casilla el producto de matrices de arriba.

La segunda celda mete eso en un bucle y lo repite dos mil veces, con $\eta = 0.5$. Ejecútala y mira caer la pérdida.

La pérdida sale de $0.7260$ y llega a $0.0011$, y los cuatro aciertos aparecen antes del paso $25$. La deuda está pagada: nadie le ha dicho a la red que no invierte el signo de lo que sigue, y los pesos que ha encontrado no son los que escribí en la lección sobre XOR y las capas ocultasBlock 2 · Lesson 3XOR: por qué necesitamos capas ocultasCuatro frases españolas que se distinguen por una negación caen en las esquinas de un cuadrado, con cada clase en una diagonal, y ninguna neurona sola las clasifica: la preactivación es afín y su media sobre las dos clases da el mismo número. Dos neuronas en paralelo y una tercera encima sí, porque la capa oculta cambia las coordenadas..

Son mejores que eso: son los mismos, redescubiertos. Mira las neuronas $2$ y $4$. Sus pesos apuntan casi en la misma dirección —$(1.83,\ 1.77)$ y $(1.79,\ 1.85)$, las dos casi $x_1 + x_2$—, sus sesgos son opuestos —$-1.80$ y $+1.80$— y sus pesos de salida también —$-3.98$ y $+3.93$—. Eso es la franja de la lección sobre XOR y las capas ocultasBlock 2 · Lesson 3XOR: por qué necesitamos capas ocultasCuatro frases españolas que se distinguen por una negación caen en las esquinas de un cuadrado, con cada clase en una diagonal, y ninguna neurona sola las clasifica: la preactivación es afín y su media sobre las dos clases da el mismo número. Dos neuronas en paralelo y una tercera encima sí, porque la capa oculta cambia las coordenadas.: dos rectas paralelas y una resta entre las dos. La última tabla lo confirma: esa pareja aporta $+7.5$ a las dos frases positivas y $+0.2$ a las otras dos. Y la pareja $1$ y $3$ hace lo mismo sobre la otra diagonal con el signo cambiado, restando $6.7$ justo donde la primera se calla.

Falta decir cuándo parar, y es la decisión más floja de las tres. Aquí paro en un número redondo de pasos porque la curva se ha aplanado; podría haber parado cuando la pérdida dejara de bajar una milésima, o cuando la norma del gradiente bajara de un umbral, y las tres son reglas de andar por casa. Los aciertos no sirven para decidirlo: en la fila del paso $25$ ya son cuatro y ahí se quedan, mientras la pérdida sigue bajando un factor de trescientos. Y las tres reglas comparten un límite que ninguna puede arreglar, porque las tres miran sólo estas cuatro frases.

La tercera celda vuelve al principio del bucle y cambia una sola cosa: de dónde salen los pesos. Seis escalas con la misma semilla, y debajo cuatro neuronas idénticas de verdad.

Las dos primeras filas de la tabla no se mueven de $0.6931$, que es $\log 2$: la red contesta $0.5$ a las cuatro frases al empezar y sigue contestando lo mismo mil pasos después. La segunda de las dos es la que enseña algo, porque su escala es $0.01$ y no cero: las cuatro neuronas sí son distintas. Lo que pasa es que cada capa recibe un gradiente multiplicado por la escala de la otra, y con dos factores pequeños todo avanza cientos de veces más despacio: esa red no está atascada, llega a las cuatro frases hacia el paso cien mil. Al otro extremo, la escala $10$ arranca en $4.73$ —confiadamente equivocada— y se recupera: con dos capas eso sale barato, y con profundidad deja de salirlo.

Las tres últimas líneas son la simetría sin ceros de por medio. Las cuatro neuronas empiezan con pesos normales, sólo que iguales entre sí, y mil pasos después siguen siendo la misma fila repetida cuatro veces. La pérdida ha bajado de $0.7240$ a $0.6931$, que es exactamente lo que consigue una red que contesta lo mismo a todo: cuatro neuronas trabajando como una, y una no puede.

Comprueba tu intuición

Tres preguntas —por qué el cero congela la red, un gradiente de batch en NumPy y qué se puede leer en una curva de pérdida— y un desafío que es el bucle entero.

import numpy as np
 
D = np.array([[1., -1.], [2., 0.]])
H = np.array([[1., 0., 2.], [0., 1., 1.]])
print((D.T @ H).shape, (D.T @ H / len(H))[0])
 

La red acierta las cuatro frases que ha visto, y no hay una quinta. Eso no es un defecto del entrenamiento: es que aquí acertar y aprender son indistinguibles, porque con cuatro ejemplos memorizar la respuesta y entender la regla producen los mismos números. Nada de lo que imprime este bucle dice qué haría la red con no está tan bien, y el bucle no tiene forma de enterarse.

Queda además una deuda que la de los pesos ha dejado a la vista. Las dos coordenadas de entrada las inventé yo: «¿aparece no?» y «¿la palabra que valora es bien o mal?» son dos preguntas que alguien tuvo que formular después de leer las cuatro frases, y un texto cualquiera no llega en dos números. Llegaba, eso sí, en la bolsa de palabras del bloque anterior. Montar este mismo bucle sobre unos cientos de reseñas representadas así, medir por primera vez sobre reseñas que la red no ha visto y ver qué queda del acierto es la siguiente lección, el proyecto de clasificación de sentimiento.