Por qué el MLP falla con secuencias

Una capa de entrada tiene el ancho que se le dio al construirla; un texto tiene el largo que tenga. El bloque anterior, dedicado al perceptrón multicapa (multilayer perceptron, MLP), terminó chocando contra esa tensión sin llegar a escribirla: su clasificador de reseñas acertaba el $88.3\ \%$ de las que no había leído, y el techo se lo ponía la entrada y no la red, porque el orden de los tokens no llegaba a cruzar la puerta. Corregirlo obliga a cambiar la entrada, y cambiar la entrada obliga a volver sobre $\mathbf{W}^{(1)}$, que tiene $d_0$ columnas desde el instante en que se construye.

La reparación que se le ocurre a cualquiera es ponerlos en fila. Cada token trae su vector —el embedding de la lección sobre representaciones densasBloque 1 · Lección 6Representaciones densas: la idea centralDar a cada entrada del vocabulario unas pocas coordenadas reales, todas compartidas y ninguna reservada, rompe la equidistancia del one-hot y deja la tabla de la representación en una matriz que sí cabe. Los 15 millones de números que la llenan no los escribe nadie a mano: la hipótesis distribucional dice de dónde salen.—, y pegar esos vectores uno detrás de otro deja el orden escrito en el sitio que ocupa cada uno: la posición pasa a ser una coordenada, y ninguna suma la borra. La reparación aguanta hasta el segundo texto. la fotografía es magnífica trae cuatro vectores y guion flojo trae dos, de modo que producen entradas de dos anchuras distintas, y una capa que multiplica por $\mathbf{W}^{(1)}$ acepta una sola.

Hay una segunda consecuencia, y ésa no se ve hasta dibujarla.

Lo que queda de lección es esa figura escrita con símbolos, y después medida con NumPy.

Una secuencia que no cabe en una entrada de tamaño fijo

El tokenizador convierte un documento en una secuencia de tokens $w_1, \dots, w_T$. Esa longitud $T$ pertenece a ese documento: el siguiente traerá otra. Cada posición aporta el vector de su entrada del vocabulario, $\mathbf{x}_t = \mathbf{e}_{w_t} \in \mathbb{R}^{d_{\text{model}}}$, la fila de $\mathbf{E}$ que le corresponde. Apilarlos en una sola columna es escribir

donde los puntos y comas apilan hacia abajo: lo que sale es un vector de $T \cdot d_{\text{model}}$ números, no una matriz de $T$ filas. El orden está dentro, intacto, y leerlo es cuestión de mirar el tramo que toque. Las dos escrituras de la letra conviven a propósito y conviene fijarlas aquí: $\mathbf{x}$ sin subíndice es la entrada del ejemplo entero, como en todo el bloque anterior, y $\mathbf{x}_t$ es el trozo que aporta la posición $t$.

Enfrente hay una capa que no admite negociación. $\mathbf{W}^{(1)} \in \mathbb{R}^{d_1 \times d_0}$ tiene $d_0$ columnas, ese número se elige al construir la red y no sabe nada del documento que vaya a entrar. Con $\mathbf{x}$ midiendo $T \cdot d_{\text{model}}$ y con $T$ cambiando en cada texto, el producto $\mathbf{W}^{(1)}\mathbf{x}$ está definido para los documentos de una longitud y no lo está para los demás. No es un problema de precisión ni de ajuste: es que la multiplicación no existe.

La salida —la única disponible sin cambiar de arquitectura— es fijar un número de posiciones $T_{\max}$ y obligar a todos los documentos a medir eso:

quedándose con las $T_{\max}$ primeras posiciones cuando $T > T_{\max}$. Rellenar con el vector nulo lo que sobra se llama padding; cortar por $T_{\max}$ es truncar. Con las dos cosas, $d_0 = T_{\max} \cdot d_{\text{model}}$ para todo documento y la red ya se puede construir.

Las dos mitades de ese arreglo cuestan cosas distintas y las dos hay que decirlas en voz alta. Truncar pierde el final entero de cualquier documento largo, y lo pierde por posición: no se parece al problema de las palabras fuera de vocabulario (out-of-vocabulary, OOV) de la lección sobre el vocabularioBloque 1 · Lección 3Vocabulario, frecuencia y el problema OOVLas palabras de un corpus no se reparten por igual: unas pocas lo copan y la mayoría aparece una sola vez. De esa forma salen el tamaño del vocabulario, lo que cuesta recortarlo y el token que recoge todo lo que queda fuera., donde lo que caía eran los tipos raros y por eso la pérdida era pequeña. Aquí puede caer la entrada más frecuente del corpus, si le toca estar en la posición $T_{\max} + 1$. Y el padding paga por el otro extremo: con $T_{\max}$ puesto donde llegue el documento más largo, un documento de longitud media entra en la red con más de la mitad de su vector a cero.

Cada posición aprende por su cuenta

Corta $\mathbf{W}^{(1)}$ por donde ya está cortada la entrada. Sus $d_0 = T_{\max} \cdot d_{\text{model}}$ columnas se reparten en $T_{\max}$ bloques consecutivos de $d_{\text{model}}$ columnas cada uno, $\mathbf{W}^{(1)} = \left[\mathbf{W}^{(1)}_1 \mid \dots \mid \mathbf{W}^{(1)}_{T_{\max}}\right]$ con $\mathbf{W}^{(1)}_t \in \mathbb{R}^{d_1 \times d_{\text{model}}}$ —ese subíndice es una posición de la secuencia, no una coordenada—, y el producto se parte con ella:

Ahí no ha pasado nada todavía: es el mismo producto de siempre, agrupado por tramos en lugar de por columnas sueltas. Lo que pasa se ve al derivar.

La lección sobre backpropagationBloque 2 · Lección 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. deja el gradiente de una capa en una línea, $\nabla_{\mathbf{W}^{(l)}}\ell = \boldsymbol{\delta}^{(l)}\left(\mathbf{h}^{(l-1)}\right)^{\top}$, y para la primera capa $\mathbf{h}^{(0)} = \mathbf{x}$, así que

Ese producto exterior se parte por columnas exactamente por donde se partió $\mathbf{W}^{(1)}$, y el trozo que le toca a cada bloque es

Léela despacio, porque es el resultado de la lección. El gradiente del bloque $t$ depende de $\mathbf{x}_t$ y de ninguna otra parte de la entrada. Si esa posición viene rellenada, $\mathbf{x}_t = \mathbf{0}$, el bloque recibe la matriz nula: ese ejemplo no le enseña nada, ni poco ni mucho. Y si la entrada llega en one-hot, $\mathbf{x}_t = \mathbf{o}_{w_t}$ tiene un solo uno, de manera que $\boldsymbol{\delta}^{(1)}\mathbf{o}_{w_t}^{\top}$ es nula salvo en una columna: dentro del bloque $t$, la única columna que se mueve es la de la entrada del vocabulario que ocupó esa posición.

Junta las dos frases y sale la afirmación que da título a este apartado. La columna que representa a una entrada dentro del bloque $t$ se ajusta sólo con los ejemplos en los que esa entrada apareció en la posición $t$. Una entrada que en el conjunto de entrenamiento no llegó nunca a la posición 5 deja las columnas correspondientes del bloque 5 tal y como salieron de la inicialización, por muchos pasos que dé el descenso; y lo que la red haya averiguado sobre esa misma entrada en la posición 3 está guardado en otros pesos, a los que la posición 5 no tiene acceso.

Lo que cuesta en pesos

$\mathbf{W}^{(1)}$ tiene forma $d_1 \times d_0$, así que guarda $d_1 \cdot d_0$ pesos, y con la entrada concatenada eso es

Pon números de un tamaño corriente: embeddings de $d_{\text{model}} = 100$, una capa oculta de $d_1 = 128$ neuronas y $T_{\max} = 30$ posiciones dan $384\,000$ pesos en la primera capa. El clasificador de reseñas de la lección anterior, con la misma capa oculta sobre una bolsa de palabras, tenía $5\,329$ parámetros en total. Y leer párrafos en vez de frases, $T_{\max} = 300$, sube la cifra a $3\,840\,000$.

Ese crecimiento no es el problema; es el síntoma. Lo que hay debajo es que los $3\,456\,000$ pesos añadidos al pasar de $30$ posiciones a $300$ son pesos nuevos, que empiezan en su inicialización y a los que no les llega nada de lo aprendido en los treinta primeros bloques. El corpus, mientras tanto, sigue teniendo los ejemplos que tenía: más posiciones significa los mismos ejemplos repartidos entre más bloques, es decir, menos experiencia por parámetro justo cuando hay más parámetros.

Midiéndolo con NumPy

Un experimento pequeño lo pone en números. Las secuencias me las he inventado para el curso: seis posiciones, ocho entradas de vocabulario, y la etiqueta vale $1$ cuando aparece no entre ellas. La diferencia está en dónde aparece —en el entrenamiento, sólo en las cuatro primeras posiciones; en el examen, sólo en las dos últimas—, y esa es la única diferencia entre los dos conjuntos.

Con los mismos datos se entrena dos veces la misma red: una sobre la concatenación de las seis posiciones y otra sobre su bolsa de palabras, que son las mismas ocho coordenadas sumadas. El bucle es el de la lección sobre implementar un MLPBloque 2 · Lección 9Implementar un MLP desde ceroLas cuatro piezas del entrenamiento están desarrolladas y ninguna celda las ha ejecutado seguidas. Montarlas cuesta apilar la vuelta por filas —con el 1/B que trae la media—, y tomar la decisión que ninguna fórmula toma: de dónde parten los pesos. Todos iguales se quedan iguales para siempre, y por eso la inicialización es al azar., sin tocar una línea. Mira su salida en tres tramos: qué hace la concatenación, qué hace la bolsa de palabras con esos mismos datos, y qué le ha pasado a cada bloque de $\mathbf{W}^{(1)}$.

La primera línea es el fallo: $1.000$ sobre lo que ha visto y $0.500$ sobre lo que no. Ese $0.500$ no es una moneda al aire. Las ciento cincuenta secuencias del examen que no llevan no las acierta todas, y las ciento cincuenta que sí lo llevan las falla todas, porque a sus ojos son idénticas a las primeras. La tercera línea dice hasta qué punto: el $\hat{y}$ medio de las ciento cincuenta positivas es $0.0014$. No está dudando entre las dos respuestas; está segura y equivocada.

La segunda línea es la incómoda. La bolsa de palabras —la representación que este bloque ha venido a sustituir, la que no distingue un orden de otro— acierta el $1.000$ en el examen desplazado. Su ventaja es exactamente lo que le falta a la otra: tiene una coordenada para no, que recoge las ocurrencias de las seis posiciones a la vez, así que un peso ajustado con lo que pasó en la posición 2 sirve tal cual cuando no aparece en la 5. Concatenar ganó el orden y perdió eso.

La última salida es la fórmula, verificada. La columna de no se ha movido unas $2.4$ unidades en los bloques 1 a 4, y $0.000000$ en los bloques 5 y 6 —cero exacto, no cero redondeado—, porque su gradiente $\boldsymbol{\delta}^{(1)}\mathbf{x}_t^{\top}$ fue la matriz nula en los seiscientos ejemplos y en los mil quinientos pasos. Cambia la inicialización y la cifra de los cuatro primeros bloques cambia; los dos últimos siguen dando cero, y el acierto de prueba sigue dando $0.500$.

Comprueba tu intuición

Cuatro preguntas: cuántos pesos pide la concatenación, por qué la posición nueva es invisible, qué cuestan el padding y el truncamiento, y qué se puede y qué no se puede concluir del hecho de que la bolsa de palabras gane este examen.

Las dos cosas que esta lección ha medido son la misma cosa. La longitud fija obliga a truncar y a rellenar porque la primera capa tiene un bloque por posición y ninguno de más; y lo aprendido en una posición no llega a las demás porque cada bloque se ajusta con lo suyo. Las dos salen de haber puesto la secuencia entera delante de la red de una vez, como si fuera un punto de $\mathbb{R}^{d_0}$ con muchas coordenadas, y ninguna se arregla desde dentro de esa idea: ni con más neuronas, ni con más pasos, ni con un $T_{\max}$ mayor, que empeora las dos.

Lo que hace falta es una red en la que la posición 5 multiplique por los mismos pesos que la posición 3, de manera que ajustarlos con una ocurrencia los deje ajustados para todas. Eso obliga a dos cosas a la vez: leer la secuencia una posición cada vez en lugar de toda de golpe, y guardar en algún sitio lo ya leído —porque si la matriz es la misma en todas las posiciones, el orden no puede estar guardado en ella—. Eso es la siguiente lección, sobre la red neuronal recurrente (recurrent neural network, RNN) más simple que hay: una sola matriz aplicada $T$ veces, un estado que pasa de un paso al siguiente, y una entrada que ya no tiene que medir lo mismo en todos los documentos.