Funciones de activación y no linealidad

La lección anterior, sobre la neurona artificial, dejó una pieza sin elegir. Los pesos y el sesgo son la neurona —fijan el hiperplano, y con él todo lo que puede llegar a distinguir—, pero entre la preactivación $z$ y lo que la neurona entrega hay una función más, $\varphi$, que todavía no se ha elegido: la ocupa por defecto el escalón, con la etiqueta de provisional encima. Elegirla es el asunto de esta lección, y no es un remate cosmético. De $\varphi$ dependen dos cosas: cuánto sobrevive del número que la neurona acaba de calcular, y qué se consigue al poner una neurona detrás de otra.

Mira lo que hace el escalón con un peso que se mueve. Toma una neurona cualquiera y sube uno solo de sus pesos de $1.0$ a $1.1$, a $1.2$, a $1.3$. La preactivación acompaña el movimiento: crece un poco cada vez, y todos los valores intermedios existen. La salida no se entera. Se queda en $0$ mientras $z$ sea negativa, y en el instante en que cruza el cero salta a $1$ y ahí se queda. Todo lo que había que saber sobre cuánto ha subido el peso se pierde por el camino, y siempre en el mismo sitio.

Antes de escribir una sola candidata conviene mirarlas juntas. El explorable dibuja cada una en $[-5, 5]$, superpone su derivada como línea discontinua y sombrea en rojo los tramos donde esa derivada casi se anula.

El botón «derivada f′» dibuja esa curva discontinua. Las cuatro primeras curvas continuas se parecen entre sí —suben, y más deprisa cerca del cero—, pero sus discontinuas no se parecen en nada: es la derivada, y no la función, la que separa a unas candidatas de otras. Y al final está el escalón, que enseña de golpe lo que le falta: su discontinua es una recta pegada al cero y el rojo cubre la gráfica entera.

Por qué la activación no puede ser una recta

Empecemos por la exigencia que no depende de ningún caso. Pon dos neuronas en cadena: la primera mira la entrada $\mathbf{x} \in \mathbb{R}^{d}$ y entrega un número, y la segunda mira ese número y entrega otro. Hay una neurona en cada nivel, así que los pesos del primero son un vector y los del segundo un escalar; el superíndice entre paréntesis dice el nivel, la misma marca que llevarán las capas cuando haya varias neuronas en cada una:

con $\mathbf{w}^{(1)} \in \mathbb{R}^{d}$ y $b^{(1)}, w^{(2)}, b^{(2)} \in \mathbb{R}$. Ahora pon la identidad en las dos activaciones, $\varphi(z) = z$, y sustituye la primera expresión dentro de la segunda:

El lado derecho es una neurona. Una sola, con vector de pesos $w^{(2)}\mathbf{w}^{(1)}$ y sesgo $w^{(2)}b^{(1)} + b^{(2)}$, y no hay entrada que la distinga de la cadena que la produjo: para toda $\mathbf{x}$ dan el mismo número. La lección anterior ya dijo qué significa eso: todo lo que una neurona distingue está en su frontera, y esa frontera es un hiperplano. La cadena de dos separa con un hiperplano también. Apilar no ha curvado la frontera.

Y la identidad no tenía nada de especial. Asigna a $\varphi$ la recta general, $\varphi(z) = \alpha z + \beta$ con $\alpha \neq 0$, y verás que $\alpha$ se absorbe en los pesos del nivel siguiente y $\beta$ en su sesgo: lo que sale vuelve a ser una preactivación. Cualquier recta hace lo mismo.

Conviene decirlo con el nombre exacto. La expresión $\mathbf{w}^{\top}\mathbf{x} + b$ no es lineal en el sentido del álgebra —una aplicación lineal manda el cero al cero, y esta lo manda a $b$—: es afín. Componer funciones afines vuelve a dar una función afín, y eso se encadena sin límite: cien neuronas seguidas con una recta en $\varphi$ son una neurona. La propiedad que hay que romper —y hay que romperla en la activación, no en otro sitio— es la que da título a esta lección: no linealidad, aunque lo que se rompe con precisión sea la afinidad.

La segunda exigencia se ve mejor por lo que le pasa al escalón. Su derivada vale cero en todos los puntos donde existe,

y en $z = 0$ ni siquiera existe, porque ahí la función salta. Hay una deuda que digo en voz alta: cómo consigue una neurona sus propios pesos a partir de ejemplos es una lección más adelante, la del descenso de gradienteComing up · Block 2 · Lesson 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola.. Lo único que hace falta adelantar es de qué está hecho ese método: de derivadas de $\varphi$. Una activación cuya derivada es cero en todas partes no dice nada sobre en qué dirección mover los pesos, y el procedimiento se queda quieto. El escalón supera la primera exigencia —no es una recta, ni de lejos— y suspende la segunda.

Tres candidatas y su derivada

Las tres que siguen cumplen las dos exigencias, y las escribo con su derivada ya calculada: el resto del bloque vivirá de esas derivadas más que de las funciones.

La sigmoide ya tiene símbolo reservado en el curso, $\sigma$:

continua, creciente, con valores en $(0, 1)$: manda $z = 0$ a $\sigma(0) = 1/2$ y aplasta los extremos contra $0$ y contra $1$ sin llegar a tocarlos. Derivémosla. Escrita como $\sigma(z) = \left(1 + e^{-z}\right)^{-1}$, la regla de la cadena y un reparto de la fracción dan

donde el último paso sale de que $\dfrac{e^{-z}}{1 + e^{-z}} = \dfrac{1 + e^{-z} - 1}{1 + e^{-z}} = 1 - \sigma(z)$. La derivada de la sigmoide se calcula con su propio valor, sin volver a exponenciar nada, y eso la hará barata cuando haya que evaluarla miles de veces.

La tangente hiperbólica tiene la misma silueta y otro recorrido. Es $\tanh(z) = \left(e^{z} - e^{-z}\right) / \left(e^{z} + e^{-z}\right)$, toma valores en $(-1, 1)$ y cumple $\tanh(0) = 0$: está centrada en el cero, que es la diferencia que importa frente a la sigmoide, cuya salida es siempre positiva. Su derivada tiene una forma igual de cómoda,

y en el origen vale $1$, cuatro veces lo que alcanza la sigmoide en su punto más alto.

La tercera es la más joven y la que más se usa: ReLU, de rectified linear unit. Es $\text{ReLU}(z) = \max(0, z)$ —deja pasar lo positivo tal cual y manda lo negativo a cero—, así que no aplasta nada por arriba: la magnitud de $z$ llega entera a la salida siempre que sea positiva. Su derivada es

y en $z = 0$ no existe: por la izquierda la pendiente vale $0$ y por la derecha vale $1$, y una función con un pico no tiene una sola tangente ahí. El curso toma $0$ ahí: es una convención, no un teorema, y la elección no cambia nada medible.

Dónde se apaga cada una

Las tres derivadas comparten un problema y lo reparten distinto. Llamemos saturación a la región donde la derivada de $\varphi$ está tan cerca de cero que la entrada puede moverse mucho y la salida apenas se mueve: son las bandas rojas del explorable.

Para la sigmoide la cuenta es directa. En $z = 5$ vale $\sigma(5) \approx 0.9933$, de modo que su derivada allí es $0.9933 \cdot 0.0067 \approx 0.0066$: casi cuarenta veces menos que en el origen. La tangente hiperbólica se apaga antes y más deprisa —$1 - \tanh^{2}(5) \approx 1.8 \times 10^{-4}$, más de treinta veces por debajo de la sigmoide en el mismo punto—, y por eso sus bandas rojas empiezan más cerca del origen aunque su derivada arranque cuatro veces más alta: empezar más arriba y caer más deprisa son compatibles.

ReLU rompe ese reparto, y su banda roja de media gráfica no lo contradice. A la derecha su derivada vale $1$ exactamente, tan lejos como quieras ir: ahí no satura, y ese es todo su atractivo. A la izquierda tampoco satura —saturar es acercarse a cero—: está apagada, con la derivada valiendo $0$ en medio eje entero. De ahí sale un defecto con nombre propio, la ReLU muerta (dying ReLU): si la preactivación se queda negativa para todos los ejemplos que ve, la derivada vale cero en todos ellos, nada la mueve, y nunca sale de ahí.

Queda el cuarto botón. GELU, de Gaussian error linear unit, es la de los Transformers del bloque 5; su definición pide la función de distribución de una normal, y queda fuera de esta lección. Se parece a ReLU salvo cerca del origen, donde en vez de doblarse en un pico se curva.

Las activaciones y sus derivadas en NumPy

La celda escribe las cuatro funciones y las tres derivadas, y las somete a cuatro pruebas. Ejecútala y mira, en este orden: si las derivadas resisten una comprobación numérica, cuánto queda de cada una lejos del origen, qué le pasa a la cadena al cambiar la identidad por la sigmoide, y qué hace la sigmoide con las diez reseñas de la lección anterior.

La primera prueba da derecho a usar todo lo demás. La diferencia central $\left(\varphi(z+h) - \varphi(z-h)\right) / 2h$ con $h = 10^{-5}$ aproxima la derivada sin saber nada de la fórmula, y las tres coinciden hasta unos $10^{-11}$. Si derivas mal una activación, esto te lo dice en dos líneas.

La segunda tabla pone números a la saturación. La derivada de la sigmoide pasa de $2.50 \times 10^{-1}$ en el origen a $4.54 \times 10^{-5}$ en $z = 10$, cuatro órdenes de magnitud; la de la tangente hiperbólica recorre ocho en el mismo tramo. La fila de ReLU no decae: $1$ en las tres últimas columnas, tan lejos como se quiera ir. El $0$ de la primera es la convención de arriba puesta en código.

La tercera prueba decide la cuestión sin entrenar nada. Toda función afín $f$ cumple la identidad

sean cuales sean $\mathbf{x}$ e $\mathbf{y}$ —desarróllala y verás que los cuatro sesgos se cancelan—. Con la identidad en $\varphi$, la cadena de dos neuronas da $-6.66 \times 10^{-16}$: cero, hasta donde llega la aritmética del ordenador. Con la sigmoide da $-0.564$. Es el mismo par de neuronas y las mismas entradas; lo único que ha cambiado es la activación.

La última tabla vuelve sobre la lección anterior: las diez preactivaciones de aquella neurona de reseñas, con sus pesos intactos, pasadas por el escalón y por la sigmoide. El escalón entrega la columna de siempre; la sigmoide separa lo que él juntaba. La reseña que caía justo encima de la frontera pasa de un $1$ rotundo a $0.500$, y las cuatro negativas, que recibían todas el mismo $0$, se reparten ahora en dos valores: $0.269$ la que estaba a $-1$, $0.119$ las tres que estaban a $-2$. La magnitud de $z$ ha vuelto, y sin tocar ni un peso.

Comprueba tu intuición

Cuatro preguntas —una derivada, el colapso de la cadena, dónde se apaga cada activación y una salida de NumPy— y un desafío con ReLU.

import numpy as np
 
z = np.array([-2., 0., 3.])
print((z > 0).astype(float))
 

Queda algo por decir sobre lo que $\varphi$ no ha cambiado, antes de que parezca que la sigmoide ha resuelto más de lo que resuelve. La frontera de decisión sigue exactamente donde estaba. Preguntar por dónde $\sigma(z)$ cruza $0.5$ es preguntar por dónde $z$ cruza $0$, porque $\sigma$ es creciente y $\sigma(0) = 1/2$: el hiperplano de la lección anterior sobrevive intacto a todas las sustituciones de esta. Lo que ha cambiado es lo que la neurona informa sobre su decisión, no cuál es.

Así que apilar neuronas ya puede construir algo que una sola no construye —sin la no linealidad ni siquiera podía—, pero nadie ha enseñado todavía un problema que obligue a apilarlas. Falta una pregunta anterior y más incómoda: ¿hay algo que una neurona, con la activación que sea, no pueda hacer nunca? Lo hay, cabe en cuatro puntos dibujados en una hoja, y es la siguiente lección, sobre XOR —el o exclusivo— y las capas ocultas.