Proyecto: un clasificador de sentimiento

Un acierto sobre ejemplos ya vistos no es una medida, es un recuerdo. Ahí se quedó la lección anterior, sobre implementar un MLP (multilayer perceptron, perceptrón multicapa) desde cero: un bucle que entrena solo, dos coordenadas de entrada que escribí yo y cuatro ejemplos —los suficientes para que la red acabe acertándolos todos, los justos para que acertarlos no demuestre nada—. Entrenar mejor no arregla ninguna de las dos cosas. Hay que preguntarle a la red por algo que no haya leído, y hace falta un número que conteste.

Las dos piezas que eso pide vienen de sitios distintos. La representación estaba resuelta desde el bloque anterior: la bolsa de palabras convierte cualquier texto en un vector de longitud fija, y lo hace sin que nadie tenga que leerse los datos antes. La otra no ha aparecido todavía en el curso y es la que ocupa media lección: apartar unas cuantas reseñas antes de empezar, no dejar que intervengan en nada y preguntarle por ellas a la red cuando ya no quede nada por ajustar. Con las dos puestas, esto es el bloque 1 a la entrada y el bloque 2 encima, sin cambiar una línea del bucle —comprobarlo es parte del trabajo—; lo único nuevo es de dónde sale cada cosa.

Las reseñas las he generado con inteligencia artificial: 240 reseñas de cine de una línea, la mitad hablando bien de la película y la mitad hablando mal, en el mismo registro que las diez de la lección sobre la neurona artificialBlock 2 · Lesson 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada.. Eso conviene tenerlo delante al leer la cifra del final, porque un corpus generado así sale más regular que uno recogido de internet —menos erratas, menos ironía, vocabulario más repetido—, y todo eso le pone las cosas fáciles al clasificador. Están en este fichero, y ábrelo antes de seguir: leerse los datos con los que va a entrenar un modelo es parte del trabajo, y aquí son dos minutos. Dentro va también el reparto —180 para entrenar, 60 para medir—, escrito en el fichero en lugar de sortearse al ejecutar, para que los números de abajo te salgan idénticos a ti.

De la reseña al vector, y de ahí a la red

La entrada la fija el bloque anterior. Cada reseña es un documento $d$, y su bolsa de palabras es el vector que cuenta cuántas veces aparece en él cada entrada del vocabulario,

con $T_d$ el número de tokens del documento y $\mathbf{o}_w$ el one-hot de la entrada $w$. El vocabulario $V$ son los 442 tipos distintos que aparecen en las 180 reseñas de entrenamiento, sin recorte por frecuencia: la lección sobre el vocabulario y las palabras fuera de vocabularioBlock 1 · Lesson 3Vocabulario, frecuencia y el problema OOVLas palabras de un corpus no se reparten por igual: unas pocas lo copan y la mayoría aparece una sola vez. De esa forma salen el tamaño del vocabulario, lo que cuesta recortarlo y el token que recoge todo lo que queda fuera. (out-of-vocabulary, OOV) cortaba por los $k$ tipos más frecuentes porque el corpus era grande, y 1 299 ocurrencias no dan para tirar nada.

Apilando una reseña por fila, la entrada de la red es $\mathbf{X} \in \mathbb{R}^{N_{\text{ent}} \times \lvert V \rvert} = \mathbb{R}^{180 \times 442}$, con las etiquetas en $\mathbf{Y} \in \mathbb{R}^{180 \times 1}$ valiendo $1$ cuando la reseña habla bien. Encima va el mismo MLP de la lección anterior con otros tamaños: una capa oculta de $d_1 = 12$ neuronas con $\tanh$ y una salida con sigmoide, o sea $d_0, d_1, d_2 = 442, 12, 1$. Cada paso mira el conjunto de entrenamiento entero, de modo que $B = N_{\text{ent}} = 180$ y el forward pass ocupa las dos líneas de siempre:

La pérdida es la entropía cruzada binaria de la lección sobre funciones de pérdidaBlock 2 · Lesson 5Funciones de pérdida: MSE y entropía cruzadaUna pérdida resume en un número lo mal que lo hace la red, y entre dos candidatas decide su derivada. El error cuadrático medio entrega su corrección más pequeña justo donde la red se equivoca con más seguridad; la entropía cruzada, que sale de leer la salida como probabilidad, deja esa derivada en la diferencia entre lo predicho y la etiqueta., promediada sobre las 180 reseñas, y la vuelta es la de la lección anterior sin tocar nada: $\boldsymbol{\Delta}^{(2)} = \hat{\mathbf{Y}} - \mathbf{Y}$, la recurrencia que la transporta a la capa oculta y los cuatro gradientes con su $1/B$,

Lo único que ha cambiado son los tamaños, y han cambiado mucho: donde la red de las cuatro frases tenía diecisiete números que ajustar, ésta tiene 5 329.

Ese salto obliga a mirar otra vez una sola decisión, la escala de la inicialización. Cada reseña enciende unas siete coordenadas de las 442, así que la preactivación de una neurona oculta es una suma de unos siete pesos: con pesos normales de escala $1$ eso da valores lo bastante grandes como para dejar la tangente hiperbólica saturada desde el primer paso, y con escala $0.1$ no. La diferencia se mide en el resultado —$0.783$ de acierto sobre las reseñas nuevas frente a $0.883$—, y es la razón de que las celdas de abajo multipliquen por $0.1$. Que la escala buena dependa de la anchura de las capas y de la profundidad de la red es la deuda que la lección anterior dejó apuntada al bloque 3, y sigue apuntada.

Medir donde el acierto significa algo

Llamemos $D_{\text{ent}}$ a las 180 reseñas con las que se entrena y $D_{\text{prueba}}$ a las 60 que se guardan, con $N_{\text{ent}} = 180$ y $N_{\text{prueba}} = 60$. No comparten ninguna reseña, y esa es toda su relación.

A cada uno se le puede pedir la misma cifra, la tasa de acierto: qué fracción de sus reseñas recibe el veredicto correcto. La salida es una probabilidad, así que el veredicto es «positiva» cuando $\hat{y}_d \geq 1/2$ —la frontera de la lección sobre la neurona artificialBlock 2 · Lesson 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada.— y «negativa» cuando no, y la cuenta es

La doble implicación dice que las dos afirmaciones valen lo mismo: o la red dice que sí y la etiqueta también, o ninguna de las dos. Y el conjunto sobre el que se cuenta va escrito dentro, que es lo que distingue $\text{acierto}(D_{\text{ent}})$ de $\text{acierto}(D_{\text{prueba}})$ —dos números que esta lección va a mirar juntos y que no significan lo mismo ni de lejos—.

Que $V$ salga sólo de $D_{\text{ent}}$ es parte de la medida, no un detalle de la implementación. Un vocabulario construido sobre las 240 le daría a cada reseña de prueba una coordenada propia para cada uno de sus tipos raros, coordenadas que existirían porque esa reseña existe, y la red llegaría al examen con el espacio hecho a su medida. Lo que desaparecería es justo lo que hay que medir: los tipos que un texto nuevo trae y el vocabulario no tiene. Es el problema OOV de aquella lección, y aquí llega sin la red de seguridad que ella le puso: no hay <UNK> que los recoja, de modo que un token fuera del vocabulario no llega al vector en absoluto.

La concesión hay que decirla entera, porque tiene un caso extremo. Una reseña cuyos tokens estuvieran todos fuera del vocabulario recibiría $\mathbf{x}_d = \mathbf{0}$, y con él

un número que no depende de la reseña sino sólo de los sesgos: todas las reseñas ilegibles para este vocabulario reciben el mismo veredicto, sea el que sea. Es el hueco que ya señalaba la lección sobre la neurona artificialBlock 2 · Lesson 1La neurona artificialUna suma ponderada y un umbral bastan para que un solo objeto convierta un vector en una decisión. Sus pesos son la perpendicular de una frontera que parte el espacio en dos, y el número que calcula antes de decidir mide a qué distancia de esa frontera ha caído la entrada., al mirar qué contesta una neurona ante el vector nulo, ahora con un texto real detrás. Y una segunda concesión, más aburrida y más frecuente: sesenta reseñas medidas una vez dan un número con la firmeza de sesenta tiradas, suficiente para separar un $0.9$ de un $0.5$ y no para separarlo de un $0.87$.

El clasificador, de punta a punta

La primera celda trae las reseñas, las tokeniza y construye las dos matrices. Ejecútala y mira tres cosas: la anchura del vector, cuántas de sus coordenadas son distintas de cero y cuántos tokens de prueba se quedan por el camino.

Los tres números dicen en qué se ha metido la red. El vector tiene 442 coordenadas y una reseña enciende $7.1$ de media, el $1.6\ \%$: la representación es dispersa, como anunciaba el bloque anterior, y cada ejemplo deja unas 435 coordenadas sin decir nada. Y de las 432 ocurrencias del conjunto de prueba, 36 —el $8.3\ \%$, repartidas en 35 tipos— no están en el vocabulario. La última línea enseña una de ellas: la reseña una película preciosa que recomiendo sin reservas llega a la red con seis coordenadas, porque reservas no aparece en ninguna de las 180 y desaparece sin dejar rastro.

La segunda celda es el bucle de la lección anterior con los nombres cambiados. Necesita lo que dejó la primera, así que ejecútalas en orden. Mira las dos últimas columnas a la vez, que es la lección entera.

En el paso $0$ la red contesta a cara o cruz, $0.550$ y $0.517$, con la pérdida en $0.6906$ —el $\log 2$ de una red que dice lo mismo a todo—. En el paso $100$ ya lleva $0.989$ sobre las reseñas que está viendo y $0.883$ sobre las que no, y en el paso $150$ alcanza el $1.000$ y no lo suelta. Lo interesante empieza ahí: entre el paso $150$ y el $600$ la pérdida se divide por trece, de $0.0482$ a $0.0037$, y la columna de la derecha no se mueve ni una milésima. Con 20 000 pasos en lugar de 600 sigue en $0.883$. Las siete reseñas que falla no las falla por poco entrenamiento.

Léelas, que es donde está el resultado de la lección. Cuatro de las siete llevan un no: no me aburrí ni un minuto recibe $0.016$ y no se hace larga en ningún momento recibe $0.000$, y las dos hablan bien de la película. Las otras tres fallan por motivos distintos —dos traen tipos que el vocabulario no tiene, convencen y eterna, y la tercera junta sobreactuada con de principio a fin, que en el entrenamiento aparece en reseñas positivas—. La tercera celda pregunta por las cuatro primeras.

Las dos primeras frases tienen las mismas palabras, con las mismas repeticiones, en otro orden, y dicen cosas opuestas. Su vector es idéntico —lo dice la primera línea— y su probabilidad también, $0.0014$ las dos: la red las llama negativas, y con una de ellas acierta por casualidad. Ninguna tasa de acierto puede pasar de ahí, porque el error ya está cometido cuando la red recibe su entrada.

La segunda salida explica los cuatro fallos con no. Esa entrada aparece 5 veces en las reseñas positivas del entrenamiento y 24 en las negativas, así que su coordenada acaba pesando hacia lo negativo, que es lo mejor que puede hacer: la coordenada dice cuántas veces sale no, y no sobre qué cae. Y la última línea cierra la concesión de la sección anterior con un número: peliculón sublime, cinta imprescindible no comparte ninguna entrada con el vocabulario, recibe el vector nulo y con él un $0.4537$ que no depende de lo que diga, sólo de los sesgos. Cualquier otra reseña ilegible recibiría ese mismo $0.4537$, y como está por debajo de $1/2$, todas serían negativas.

Comprueba tu intuición

Tres preguntas: de dónde puede salir el vocabulario, sobre qué se cuenta una tasa de OOV y qué autoriza a concluir la distancia entre las dos columnas.

El bloque termina con un clasificador que funciona y con el techo de su representación a la vista. Las dos frases de la última celda no son un caso rebuscado montado para que falle: son la consecuencia de que $\mathbf{x}_d$ sume los one-hot de los tokens, y una suma no recuerda en qué orden le llegaron sus sumandos. Todo lo que este bloque ha construido —la neurona, las capas, el descenso, la vuelta entera— trabaja después de esa suma, y ninguna cantidad de entrenamiento alcanza a recuperar lo que la entrada tiró antes de existir. Por eso las siete reseñas resisten a 20 000 pasos: no es la red la que se queda corta.

Lo que falta, entonces, es una entrada que llegue en orden y una red capaz de leerla así, token a token, arrastrando lo que ya ha visto. Eso es el bloque 3, sobre redes neuronales recurrentes, y su lección sobre por qué el MLP falla con secuencias empieza midiendo el tamaño exacto del problema: qué le pasa a un perceptrón multicapa cuando la entrada deja de tener una longitud fija y la posición que ocupa cada token pasa a significar algo.