Funciones de pérdida: MSE y entropía cruzada

Medir no es contestar, y la red sólo sabe contestar. La lección anterior, sobre el forward pass en forma matricial, cerró la mitad del recorrido que va de $\mathbf{X}$ a $\hat{\mathbf{Y}}$: una cadena de productos que atraviesa las capas sin preguntarse ni una vez si lo que entrega se parece a lo que debía. La otra mitad empieza aquí, fijando una regla que compare $\hat{\mathbf{Y}}$ con $\mathbf{Y}$ y resuma en un único número lo mal que va el batch. Esa regla se llama función de pérdida, y hay que elegirla.

Reglas que sirvan hay muchas, y la elección pesa. Toma divertida y la recomiendo, que habla bien de la película: su etiqueta es $y = 1$, y la red contesta con un número entre $0$ y $1$ que vale más cuanto más se incline por esa clase. Supón que entrega un $0.002$. Falla, porque tenía que haber dado algo pegado al $1$, y falla con toda la seguridad del mundo, porque más cerca del $0$ no podía quedarse. Esta lección compara dos candidatas, el error cuadrático medio y la entropía cruzada, y las dos coinciden en que ahí la pérdida es alta: por ahí no se distinguen. Lo que las separa es cuánto cambia esa pérdida cuando un peso cambia, y en un ejemplo así la primera de las dos, que es la que se le ocurre a cualquiera, apenas se inmuta.

Antes de escribir ninguna fórmula, mira la forma de esa diferencia. Lo dibujado no son las dos pérdidas sino la corrección que entrega cada una: cuánto se mueve por cada unidad que se mueva la preactivación $z$ de la neurona de salida, que es de donde tiran los pesos. En verde la entropía cruzada; en gris el error cuadrático medio (mean squared error, MSE). Con la etiqueta valiendo $1$, la red acierta hacia la derecha del dibujo y falla hacia la izquierda.

De predicciones a un solo número

La red entrega $\hat{\mathbf{Y}} \in \mathbb{R}^{B \times d_L}$, y los ejemplos traen sus etiquetas en un array de la misma forma, $\mathbf{Y} \in \mathbb{R}^{B \times d_L}$, fila con fila. Una pérdida resume ese par en un número, y se construye en dos niveles: una función $\ell$ que juzga un ejemplo comparando su predicción con su etiqueta, y la media de las $B$ que resulta,

donde $\hat{\mathbf{y}}_i, \mathbf{y}_i \in \mathbb{R}^{d_L}$ son la predicción y la etiqueta del ejemplo $i$: las filas $i$ de $\hat{\mathbf{Y}}$ y de $\mathbf{Y}$, escritas en columna. Es la media y no la suma para que $\mathcal{L}$ no crezca con $B$.

De $\ell$ se exigen tres cosas y no pesan igual: que devuelva un número, que baje al acercarse la predicción a la etiqueta, y que tenga derivada respecto de cada parámetro, porque de esas derivadas está hecho el método que corrige los pesos —la siguiente lección sobre el descenso de gradienteMás adelante · Bloque 2 · Lección 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola.—. Las dos primeras las cumple casi cualquier cosa; la tercera es la que descarta candidatas, y es el mismo criterio con el que la lección sobre funciones de activación y no linealidadBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín. eligió $\varphi$: allí el escalón se cayó por tener derivada nula, no por medir mal.

La primera de las dos mide la distancia al cuadrado. El error cuadrático medio es

con el subíndice nombrando cuál de las candidatas es, y con la segunda forma escrita para $d_L = 1$ —la red de reseñas—, donde $\hat{y}$ e $y$ son escalares y los escribo sin negrita. El cuadrado hace dos cosas: quita el signo, de modo que pasarse y quedarse corto cuestan lo mismo, y castiga los errores grandes más que proporcionalmente, porque fallar por $0.8$ cuesta dieciséis veces lo que fallar por $0.2$, no cuatro.

Ese es el criterio correcto cuando la red predice una cantidad: si hay que adivinar cuántas estrellas le puso su autor, la diferencia $\hat{y} - y$ son estrellas y su cuadrado mide lo que se busca. Al derivar sale $\partial \ell_{\text{MSE}} / \partial \hat{y} = 2(\hat{y} - y)$, la primera propiedad buena de esta pérdida: la corrección es proporcional al error. Sobre ese factor $2$ hay una convención que no adopto —mucha gente pone un $\tfrac{1}{2}$ delante para que se cancele al derivar—, y no cambia nada medible: multiplicar todas las correcciones por una constante se absorbe en el tamaño del paso, que es lo que ajusta la lección siguiente.

Por qué se apaga justo cuando más falta hace

Clasificar no es predecir una cantidad, y ahí la cuenta cambia. La etiqueta vale $0$ o $1$, la salida sale de una sigmoide, $\hat{y} = \sigma(z)$, y la derivada que hace falta no es la de $\hat{y}$ sino la de $z$, que es lo que los pesos controlan. Encadenando, y con $\sigma'(z) = \sigma(z)\left(1 - \sigma(z)\right)$ de la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín.:

Mira el producto de los dos últimos factores: es la derivada de la sigmoide, y la lección sobre funciones de activaciónBloque 2 · Lección 2Funciones de activación y no linealidadEl escalón deja pasar el signo de la preactivación y tira lo demás, y su derivada vale cero allí donde existe. Sigmoide, tangente hiperbólica y ReLU devuelven la magnitud y admiten derivada; ninguna puede ser una recta, porque encadenar funciones afines vuelve a dar una función afín. ya dijo dónde se apaga: cuando $\hat{y}$ se acerca a $0$ o a $1$, o sea, cuando la red está segura. La saturación que allí era un defecto de la activación reaparece aquí multiplicando a la corrección. Con $y = 1$ y $z = -6$ —la red dice que no, con convicción, y se equivoca— el primer factor vale casi $-2$, pero $\hat{y}\left(1 - \hat{y}\right)$ vale $0.0025$, y el producto se queda en $0.0049$. El peor error del batch pide la corrección más pequeña del batch.

No es un caso raro elegido a mano: es la mitad izquierda entera de la curva gris de arriba. Y ningún ajuste del tamaño del paso arregla una pérdida que confunde sus dos colas, porque las escala a las dos por igual.

La entropía cruzada, leyendo la salida como probabilidad

El arreglo no es parchear la fórmula, sino cambiar lo que se supone que la red está diciendo. Hasta aquí $\hat{y}$ era un número entre $0$ y $1$; tómalo ahora como la probabilidad que la red le da a la clase positiva, $\hat{y} = P(y = 1 \mid \mathbf{x})$. Con eso, la probabilidad que le asigna a la etiqueta que traía el ejemplo se escribe de una vez para los dos casos,

porque con $y = 1$ el segundo factor vale $1$ y queda $\hat{y}$, y con $y = 0$ es el primero el que desaparece. Suponiendo los $B$ ejemplos independientes, la probabilidad de observar el conjunto entero es el producto de las $B$, y a esa cantidad, como función de los parámetros, se la llama la verosimilitud. Hay que hacerla grande. Multiplicar $B$ números menores que uno lleva el producto a cero muy deprisa, así que tomamos logaritmos —que conservan el orden, luego el máximo no se mueve—, le damos la vuelta al signo para tener algo que minimizar y dividimos entre $B$. Sale la entropía cruzada:

Léela por ejemplos. Uno con $y_i = 1$ aporta $-\log \hat{y}_i$: vale $0$ si la red le da probabilidad $1$ y crece sin techo según esa probabilidad baja hacia cero, y uno con $y_i = 0$ mira a $1 - \hat{y}_i$. Que no haya techo es la diferencia de fondo con el MSE, que nunca pasaba de $1$.

Ahora la derivada, que es lo que decide. Derivamos $\ell_{\text{EC}} = -y\log\hat{y} - (1-y)\log(1-\hat{y})$ respecto de $\hat{y}$, ponemos los dos términos sobre denominador común y encadenamos con la sigmoide:

En la primera línea el numerador se simplifica porque los dos productos $y\hat{y}$ se cancelan. En la segunda, el denominador es exactamente el $\hat{y}(1 - \hat{y})$ que la sigmoide aporta al encadenar, y los dos se van.

La corrección es la diferencia entre lo que la red dijo y lo que debía decir. Nada más. En el ejemplo de antes vale $-0.9975$ en lugar de los $0.0049$ del MSE. La saturación no ha desaparecido, la sigue teniendo la sigmoide; lo que pasa es que la pérdida trae en su derivada el factor inverso exacto que la deshace, y por eso la fórmula final no menciona a $\varphi$.

Más de dos clases: softmax

Con tres respuestas en lugar de dos —positiva, negativa y neutra— la capa de salida tiene $d_L = 3$ neuronas y la sigmoide ya no sirve: aplasta cada coordenada por su cuenta, y tres números en $(0,1)$ no forman una distribución. La función que sí lo hace es el softmax, el mismo de la lección sobre Word2VecBloque 1 · Lección 7Word2Vec: skip-gram y CBOWWord2Vec no calcula los números del embedding: se los pide prestados a un modelo que predice contextos y se queda con los parámetros que le permiten acertar. Escrito con cuidado, ese objetivo obliga a repartir probabilidad entre las 50 000 entradas del vocabulario una vez por par, y quitar esa suma de en medio es el muestreo negativo., que repartía probabilidad entre las entradas del vocabulario:

positivo por ser exponencial y sumando $1$ por el denominador. La etiqueta se escribe one-hot, $\mathbf{y} \in \{0,1\}^{d_L}$ con un único $1$ en la posición de la clase correcta $c$, tal como la lección sobre one-hotBloque 1 · Lección 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada. codificaba una entrada del vocabulario. La pérdida es la de antes, escrita para $d_L$ clases:

donde la segunda igualdad sale de que la one-hot anula todos los sumandos menos uno. Sólo cuenta la probabilidad que la red le dio a la clase verdadera; lo que reparta entre las otras importa porque el denominador las ata a todas.

Las dos derivaciones llegan al mismo sitio, y por eso merece la pena hacerlas una vez: de aquí a la lección sobre backpropagationMás adelante · Bloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante., la capa de salida no vuelve a derivarse, entra con $\hat{\mathbf{y}} - \mathbf{y}$ y ya está. El softmax está aquí porque el resto del curso predice sobre vocabularios enteros, donde las clases son decenas de miles.

Las dos pérdidas sobre las diez reseñas

La celda evalúa las dos candidatas sobre las diez reseñas de siempre, con las preactivaciones de la neurona de pesos puestos a mano de la lección sobre la neurona artificialBloque 2 · Lección 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada.. Nada va al azar. Ejecútala y mira tres cosas: qué ordena cada columna, dónde se apaga cada corrección, y qué pasa con un logaritmo de cero.

La primera tabla justifica la lección. El recuento de aciertos empata las dos primeras en nueve de diez: no distingue entre decir $0.881$ y decir $0.538$, porque las dos caen del mismo lado. Las dos pérdidas las separan —$0.049$ contra $0.220$ la convencida, $0.220$ contra $0.633$ la tibia—, y dejan en último lugar a la que contesta $0.5$ a todo, con $0.250$ y $0.693$, que es $\log 2$. Ordenan igual. Lo que no hacen igual es corregir.

Eso es la segunda tabla. En $z = -6$, con la etiqueta valiendo $1$, la entropía cruzada entrega $0.9975$ y el MSE $0.0049$: un cociente de $202.7$. En $z = 0$, con la red sin opinión, es $2$. La ventaja crece hacia los extremos, y uno de ellos es donde la red se equivoca. La última fila repite el $202.7$ con la red acertando, y ahí las dos correcciones son minúsculas porque deben serlo.

La tercera prueba enseña el detalle que rompe una implementación. $-\log 0$ es infinito, y basta un ejemplo al que la red le dé probabilidad cero para que la media del batch entero valga infinito y deje de decir nada. El recorte a $10^{-12}$ lo evita a un precio que digo en voz alta: ese $27.63$ no lo ha medido nadie.

Comprueba tu intuición

Cinco preguntas —una entropía cruzada a mano, el MSE al clasificar, la corrección limpia, el recorte del logaritmo y el máximo del softmax— y un desafío con la capa de salida.

import numpy as np
 
p = np.array([0.9, 1e-15, 0.5])
print(np.round(-np.log(np.clip(p, 1e-12, 1.0)), 2))
 

Ya hay un número que dice lo mal que va la red, y en toda la lección no se ha movido ni un peso. Las tres redes llegaron con sus números puestos, la pérdida las ha ordenado, que es lo que se le pedía, y ninguna ha mejorado por haber sido medida.

Entrenar es hacer pequeño ese número, y lo único que se puede tocar para conseguirlo son los pesos: cambiarlos cambia $\hat{\mathbf{Y}}$, y con ella $\mathcal{L}$. De ese movimiento, la derivada da el sentido —si $\hat{y} - y$ es positivo, subir $z$ sube la pérdida, luego hay que bajarlo— y no da la distancia: describe la pendiente en el punto donde estás y deja de valer en cuanto te mueves. Así que los pesos no se corrigen de una vez, sino a pasos, y el tamaño de cada paso es una decisión: demasiado corto no llega nunca, demasiado largo se pasa. Cómo se elige, qué ocurre cuando se elige mal y por qué repetirlo acaba dando con el mínimo sin verlo, es la siguiente lección, sobre descenso de gradiente.