XOR: por qué necesitamos capas ocultas

Con la lección anterior, sobre funciones de activación y no linealidad, la neurona quedó terminada: una suma ponderada, y encima una $\varphi$ curva y con derivada aprovechable —sigmoide, tangente hiperbólica o ReLU— en lugar del escalón que ocupaba ese sitio al principio. Terminada, y con un límite que ninguna de las tres candidatas toca: la neurona contesta según de qué lado de un hiperplano haya caído la entrada. Eso mueve la pregunta de sitio. Ya no es cuál asignar a $\varphi$, sino una pregunta sobre los datos: qué repartos de ejemplos caben dentro de un hiperplano, y si hay alguno que no cabe en ninguno.

Cuatro frases alcanzan para encontrarlo. Toma está bien, está mal, no está bien y no está mal, y clasifícalas: la primera y la cuarta hablan bien, la segunda y la tercera hablan mal. Las cuatro se distinguen con dos datos —si aparece no, y si la palabra que valora es bien o mal—, de modo que dos coordenadas las describen enteras. Ahora mira qué hace no. No aporta un signo propio: le da la vuelta al de la palabra que le sigue. Y un peso es un signo fijo.

Esas dos coordenadas caben en un dibujo, que es el de la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada.: cada frase es un punto del plano, su color es lo que dice, y la neurona busca una recta que deje un color a cada lado. El segundo botón del explorable carga exactamente esos cuatro puntos.

Los cuatro puntos son las esquinas de un cuadrado y cada clase ocupa dos esquinas opuestas. Una recta parte el plano en dos mitades, y no hay forma de meter dos esquinas opuestas en la misma mitad sin llevarse por delante alguna de las otras dos. Eso lo enseña el explorable, y no lo demuestra: que un procedimiento no encuentre una recta deja abierto que la recta exista y él no dé con ella. Hay que descartarlas todas a la vez.

Cuatro frases que ningún hiperplano separa

Fijemos las coordenadas. Sea $x_1 = +1$ cuando la frase contiene no y $x_1 = -1$ cuando no lo contiene, y sea $x_2 = +1$ cuando la palabra que valora es bien y $x_2 = -1$ cuando es mal. La etiqueta $y$ vale $1$ si la frase habla bien y $0$ si habla mal, que son los dos valores que entrega el escalón.

La etiqueta vale $1$ exactamente cuando las dos coordenadas difieren. Esa función tiene nombre desde mucho antes que las redes: es el o exclusivo (exclusive or, XOR), y sus dos clases son las dos diagonales del cuadrado.

Supongamos que existen $\mathbf{w} \in \mathbb{R}^{2}$ y $b \in \mathbb{R}$ con los que la neurona $\text{escalón}\left(\mathbf{w}^{\top}\mathbf{x} + b\right)$ acierta las cuatro. Acertar las dos positivas es $z \geq 0$ en las dos, y acertar las dos negativas es $z < 0$ en las dos. Sumemos cada pareja por separado, con $z(\mathbf{x}) = w_1 x_1 + w_2 x_2 + b$:

y para la otra diagonal, con los mismos pesos,

Los pesos se cancelan en las dos, y las dos sumas dan el mismo número. Pero la primera suma dos cantidades $\geq 0$, luego $2b \geq 0$; y la segunda suma dos cantidades $< 0$, luego $2b < 0$. Un mismo $b$ no puede cumplir las dos, así que la neurona supuesta no existe.

Merece la pena leer esa cancelación en el dibujo, porque dice de dónde sale. Los dos segmentos —el que une las dos frases positivas y el que une las dos negativas— tienen el mismo punto medio, el origen. Y $z$ es afín, así que su valor en el punto medio de un segmento es la media de sus valores en los extremos. El origen tendría que caer del lado positivo por estar entre dos positivas, y del negativo por estar entre dos negativas.

Y ninguna activación lo arregla

La demostración usó el escalón en un sitio concreto: para leer «acierta» como $z \geq 0$ o $z < 0$. Es lo único que hay que revisar. Sea $\varphi$ estrictamente creciente —la sigmoide y la tangente hiperbólica lo son— y sea $\theta$ el umbral con el que decidas leer su salida como un sí. Al ser creciente es invertible en su recorrido, de modo que $\varphi(z) \geq \theta$ equivale a $z \geq \varphi^{-1}(\theta)$, y el conjunto de las frases que reciben un sí es

que es el semiplano de la misma neurona con el sesgo $b - \varphi^{-1}(\theta)$. La demostración se aplica sin tocar una letra.

ReLU no es estrictamente creciente y tampoco escapa. Con $\theta > 0$, pedir $\text{ReLU}(z) \geq \theta$ es pedir $z \geq \theta$, otro semiplano; con $\theta \leq 0$ se cumple para toda entrada y la neurona contesta que sí a las cuatro frases, incluidas las dos que hablan mal. Semiplano o plano entero, y ninguna de las dos cosas parte las diagonales.

Una capa es varias neuronas a la vez

Lo que falla no es la neurona: es que sólo haya una. Pon dos mirando la misma entrada y una tercera mirando lo que entregan esas dos. Quedan tres columnas, y cada una tiene nombre. La capa de entrada es $\mathbf{x}$ y no calcula nada —se dibuja como una columna de círculos por costumbre, pero ahí no hay neuronas—; la capa oculta son las dos primeras neuronas, oculta porque su salida no es la respuesta final y nadie la lee desde fuera; y la capa de salida es la tercera, la que contesta.

Con varias neuronas en un nivel, el vector de pesos de cada una pasa a ser una fila. La neurona $j$ de la capa $l$ guarda sus pesos en la fila $j$ de $\mathbf{W}^{(l)}$ y su sesgo en $b^{(l)}_j$, y lo que en la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada. eran los escalares $z$ y $a$ son ahora las coordenadas $z^{(l)}_j$ y $h^{(l)}_j$. Es el mismo objeto apilado; por dentro no ha cambiado nada. Con $\mathbf{h}^{(0)} = \mathbf{x}$, la capa oculta calcula

con $\mathbf{W}^{(1)} \in \mathbb{R}^{2 \times 2}$ y $\mathbf{b}^{(1)}, \mathbf{z}^{(1)}, \mathbf{h}^{(1)} \in \mathbb{R}^{2}$, y con $\varphi$ aplicada coordenada a coordenada. La capa de salida hace lo mismo sobre $\mathbf{h}^{(1)}$:

con $\mathbf{W}^{(2)} \in \mathbb{R}^{1 \times 2}$ y $\mathbf{b}^{(2)} \in \mathbb{R}^{1}$. Una capa de una sola neurona es una matriz de una sola fila, y escribirla así cuesta un par de subíndices ahora y ahorra tener dos notaciones después.

Dos rectas paralelas separan lo que una sola no puede

Estos pesos resuelven las cuatro frases, con el escalón en $\varphi$ en las dos capas:

Los he elegido yo a mano, igual que los ocho pesos de la neurona de reseñas de la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada., porque todavía no hay nada en el curso que los busque solo. Y están elegidos para que se lean. Las dos filas de $\mathbf{W}^{(1)}$ son idénticas, así que las dos neuronas ocultas miran la misma dirección y sólo las separa el sesgo: la primera pregunta si $x_1 + x_2 \geq -1$ y la segunda si $x_1 + x_2 \geq 1$. Son dos rectas paralelas, y la clase positiva es la franja que queda entre ellas. Una franja es la intersección de dos semiplanos, y decidir esa intersección es lo que hace la neurona de salida: $z^{(2)}_1 = h^{(1)}_1 - h^{(1)}_2 - 1/2$ pide un sí a la primera y un no a la segunda.

La columna de $\mathbf{h}^{(1)}$ es la que tiene el resultado. Cuatro puntos de entrada han salido convertidos en tres —$(0,\, 0)^{\top}$, $(1,\, 0)^{\top}$ y $(1,\, 1)^{\top}$—, y la clase positiva es justo el de en medio. En esas coordenadas nuevas ya hay una recta que deja una clase a cada lado, y la neurona de salida no hace nada que no supiera hacer una neurona suelta. La capa oculta no ha añadido capacidad de decidir: ha cambiado el sitio desde el que se decide.

Ese es el giro que conviene guardar, porque el bloque anterior es entero sobre lo mismo. Allí las representaciones las elegía una persona —una dimensión por entrada del vocabulario, después cuentas, después vectores densos— y cada elección era una decisión escrita a mano. Una capa oculta es una representación más, con una diferencia: sus coordenadas salen de unos pesos, y a unos pesos se les puede pedir que se ajusten solos. Una red neuronal con al menos una capa oculta tiene nombre propio, perceptrón multicapa (multilayer perceptron, MLP), y es el que da título a este bloque.

Todas las rectas de una malla, y después la red

La celda hace dos cosas. Primero prueba a lo bruto una malla de rectas, para ver dónde está el techo de aciertos; después monta la red de dos capas con los pesos de arriba y la pasa por las cuatro frases. Ejecútala y compara los dos bloques de salida.

La malla prueba $41^3 = 68\,921$ rectas, ninguna acierta las cuatro frases y $17\,123$ se quedan en tres. Esa cifra tiene un límite que conviene decir: una malla deja fuera todas las rectas que no probó, que son casi todas, así que por sí sola no demuestra nada —para eso está la cuenta de más arriba, y por eso va antes—. Lo que aporta es el techo. Tres aciertos no es un resultado a medio camino que se arregle afinando la búsqueda; es el máximo, y el máximo se toca por todas partes.

La red acierta las cuatro. La tabla de la celda es la misma de arriba, ahora calculada, y en ella $z^{(2)}_1$ vale $+0.5$ en las dos frases positivas y $-0.5$ en las dos negativas, con la misma holgura por los dos lados. Y la última comprobación imprime lo que hace la capa oculta: está bien y no está mal, que ocupan esquinas opuestas del cuadrado de entrada, salen las dos como $(1,\, 0)^{\top}$. Empezaron lo más lejos que podían estar y terminaron en el mismo sitio.

Comprueba tu intuición

Cuatro preguntas: qué demuestra la imposibilidad, si la activación tiene algo que ver, una preactivación de salida a mano y una salida de NumPy.

import numpy as np
 
W1 = np.array([[1., 1.],
               [1., 1.]])
b1 = np.array([1., -1.])
x = np.array([1., -1.])
print((W1 @ x + b1 >= 0).astype(float))
 

Los cuatro números de $\mathbf{W}^{(1)}$ y los tres sesgos los escribí yo mirando el cuadrado, y esa deuda es ya la segunda vez que aparece. Ahora, además, cuesta más de pagar. Con una neurona sola se podía al menos mirar cada peso y decir de qué palabra opinaba; los pesos de una capa oculta no opinan sobre la respuesta, opinan sobre unas coordenadas intermedias que nadie ve, y su acierto o su fallo sólo se nota dos capas más allá. Repartir la responsabilidad entre capas es lo que ocupa el resto del bloque.

Antes de eso hay un problema más pequeño y más urgente, y es de escritura. La red de esta lección cabe en una tabla porque tiene tres neuronas; con un vocabulario de cincuenta mil entradas y un par de cientos de neuronas ocultas, recorrerla neurona a neurona no cabe en ninguna página ni en ningún bucle que merezca la pena ejecutar. Hace falta la forma en la que una capa entera es un producto de matrices, y un montón de ejemplos entra de una vez por el mismo producto: es la siguiente lección, sobre el forward pass.