Fine-tuning en la práctica

La lección anterior, sobre BERT (Bidirectional Encoder Representations from Transformers) y GPT (Generative Pre-trained Transformer), dejó dos pilas entrenadas contra texto crudo y todavía sin oficio: representan bien el español y no sirven para nada concreto. Al despedirse hizo además una afirmación sin números —que mover esos pesos no cabe donde han cabido las celdas de este curso—. Una afirmación sin números es de las pocas cosas que este curso no se ha permitido.

¿Cuántos números hay que mover, entonces? La pregunta tiene respuesta exacta, y de ella salen las otras dos: cuánta memoria ocupan mientras se mueven y cuánto tarda una vuelta. De las tres sale la misma conclusión, y por eso esta lección no tiene celdas. Lo que tiene es un cuaderno, y hay que ir a ejecutarlo fuera.

Antes de las cuentas, mira qué es exactamente lo que se reaprovecha. La lección del proyecto de sentimientoBlock 2 · Lesson 10Proyecto: un clasificador de sentimientoEl bucle del bloque entero, ahora sobre 240 reseñas de cine y con la bolsa de palabras del bloque 1 a la entrada. La red acierta las 180 con las que entrena y el 88.3 % de las 60 que no ha leído, y las siete que falla no son ruido: cuatro llevan un «no» que la bolsa de palabras no sabe dónde colocar. ajustó un clasificador de reseñas de cine desde el generador de números aleatorios: 180 reseñas para entrenar, 60 guardadas, un 88.3 % de acierto sobre esas 60 y siete fallos, cuatro de ellos con un no que la bolsa de palabras no sabía dónde colocar. No lo sabía porque a la bolsa de palabras nunca le llegó el orden.

El fine-tuning hace esa misma tarea y cambia una sola cosa de sitio: debajo del clasificador ya no hay una bolsa de palabras, sino doce bloques que alguien ha entrenado durante semanas contra miles de millones de palabras en español. Lo que esa pila devuelve en cada posición depende de la frase entera, así que el no llega. Y lo que tú pones encima es diminuto, que es la parte que conviene contar despacio.

Ciento diez millones de números

El modelo del cuaderno es BETO, el BERT que la Universidad de Chile entrenó en español. Por dentro es el encoder del artículo con sus cinco números puestos: $N = 12$ bloques, $d_{\text{model}} = 768$, $h = 12$ cabezas, $d_{\text{ff}} = 3072$ y un vocabulario de $\lvert V \rvert = 31\,002$ entradas. Con eso, la cuenta de parámetros es la de la lección sobre las quince cajas del artículoBlock 5 · Lesson 8Quince cajas, cinco númerosDescrito, el Transformer está entero desde la lección anterior; construido no, porque ninguna pieza se ha comprometido todavía con un tamaño. El artículo elige cinco números y de ellos sale todo lo demás: las anchuras de las tres proyecciones, la forma de la matriz de salida de multi-head, las filas de la tabla de embeddings y el recuento entero de parámetros. Antes hace falta cerrar la única caja de la figura que no tiene lección detrás, la de arriba del todo, y resulta ser la tabla del bloque 1 leída al revés: la misma matriz que abajo convierte tokens en vectores, arriba convierte un vector en una puntuación por entrada. El artículo la usa en tres sitios y esa decisión se paga en el recuento, donde también se ve que el reparto de los sesenta y tres millones no está donde el dibujo sugiere., evaluada:

que son las cuatro proyecciones de cada atención y las dos capas de cada perceptrón por posiciones, doce veces. Falta la tabla de embeddings, que en un vocabulario de este tamaño no es un detalle:

Sumadas dan $108\,744\,192$, y con los sesgos, las dos normalizaciones de cada bloque y la tabla de posiciones se queda en unos $110$ millones. Guardado cada número en cuatro bytes, eso es

unos 440 MB sólo para los pesos. Entrenar pide dos cosas más al lado. Backpropagation —su lecciónBlock 2 · Lesson 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante.— produce un gradiente por parámetro, que es otra copia entera; y el optimizador que usan estas bibliotecas guarda además dos números por parámetro, un promedio del gradiente y otro de su cuadrado, que es una mejora del descenso de gradiente de su lecciónBlock 2 · Lesson 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola. y queda fuera de este curso. Cuatro copias de $440$ MB pasan de $1.7$ GB, y todavía no se ha guardado ni una activación.

Son tres cosas las que dejan esto fuera del navegador, y cada una por su cuenta ya sobraría. La primera es la más seca: no existe PyTorch compilado para el intérprete que corre en la pestaña, así que no hay manera de cargar unos pesos preentrenados aunque cupieran. La segunda es ese $1.7$ GB dentro de una pestaña. Y la tercera es el reloj. Una reseña truncada a $T_{\max} = 128$ posiciones cuesta, sólo hacia delante, del orden de $2 \cdot \left(110 \times 10^{6}\right) \cdot 128 \approx 2.8 \times 10^{10}$ multiplicaciones, y la pasada hacia atrás cuesta aproximadamente el doble, así que tres vueltas sobre $3\,000$ reseñas son

Una GPU (graphics processing unit) de las gratuitas hace del orden de $10^{13}$ de esas operaciones por segundo, y por eso el cuaderno tarda minutos. Un hilo de WebAssembly sin GPU hace del orden de $10^{8}$: la misma cuenta se mide en semanas. Las celdas de este curso se cortan a los diez segundos.

Lo único que cambia es de dónde parte el descenso

Con las cuentas hechas, lo que queda es notablemente pequeño. El bucle que corre en el cuaderno es el de la lección sobre el descenso de gradienteBlock 2 · Lesson 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola., letra por letra:

Lo que cambia es $\theta_0$. En todo el curso ha salido del generador de números aleatorios; aquí sale del preentrenamiento, y esa sustitución es el fine-tuning entero. Nada más de esa línea se toca.

Encima de la pila hace falta algo que diga si una reseña habla bien o mal, porque lo que sale por arriba son $T$ filas de $d_{\text{model}}$ números y ninguna de ellas es una respuesta. El clasificador toma la fila de la primera posición —la que BERT reserva para eso— y le pone una capa de salida de dos unidades, entrenada con la entropía cruzada de la lección sobre las funciones de pérdidaBlock 2 · Lesson 5Funciones de pérdida: MSE y entropía cruzadaUna pérdida resume en un número lo mal que lo hace la red, y entre dos candidatas decide su derivada. El error cuadrático medio entrega su corrección más pequeña justo donde la red se equivoca con más seguridad; la entropía cruzada, que sale de leer la salida como probabilidad, deja esa derivada en la diferencia entre lo predicho y la etiqueta.:

números nuevos, contra los $110$ millones que ya estaban puestos. Esos $1\,538$ sí salen del generador, y son los únicos.

Queda la tasa de aprendizaje, y es la decisión con más consecuencias del cuaderno. El bloque 2 entrenaba con $\eta$ del orden de $10^{-3}$; aquí se usa $2 \times 10^{-5}$, unas cincuenta veces menos. El motivo no es la divergencia que esa lecciónBlock 2 · Lesson 6Descenso de gradienteEl gradiente reúne una derivada parcial por parámetro y apunta, entre todas las direcciones posibles, a la que más sube la pérdida; restarlo un poco cada vez es todo el método. Cuánto es «un poco» decide entre converger, rebotar y divergir, y la cuenta sale entera sobre una parábola. derivó para $\eta$ grande, sino algo que ocurre mucho antes: $\theta_0$ está ya en un sitio que costó semanas de máquina, y un paso del tamaño que hace falta cuando se parte del ruido saca a $\theta$ de ese sitio en las primeras actualizaciones. Con la pérdida bajando, además, porque ajustar $110$ millones de parámetros a unos miles de reseñas es facilísimo si se permite mover los parámetros lo suficiente. Lo que se pierde por el camino no aparece en esa pérdida. El paso pequeño es lo que convierte el preentrenamiento en un punto de partida en vez de en un recuerdo.

El cuaderno, y qué mirar mientras corre

Lo primero, antes de ejecutar nada: en el menú de Colab, entorno de ejecución con GPU. La primera celda dice cuál te ha tocado, y si no hay ninguna lo dice también —el cuaderno corre igual sobre CPU, con la última cuenta de arriba de por medio—. Las versiones de las bibliotecas están fijadas a propósito: unos pesos preentrenados y una versión concreta de transformers son las dos mitades de un resultado reproducible, y dejar la segunda al aire es la manera más silenciosa de que el cuaderno deje de funcionar dentro de un año.

Después, cinco cosas, en este orden. El tokenizador viene con el modelo y no lo eliges tú: es un tokenizador de subpalabras como los de la lección sobre la tokenizaciónBlock 1 · Lesson 2Tokenización: palabras, caracteres, subpalabrasAntes de decidir qué vector le corresponde a una unidad hay que decidir cuál es la unidad. Esa elección fija el tamaño del vocabulario, la longitud de las secuencias y qué significa que una palabra sea nueva., y sus entradas son exactamente las filas de la tabla de embeddings preentrenada, así que cambiarlo dejaría esas filas sin dueño. Las reseñas se parten en $D_{\text{ent}}$ y $D_{\text{prueba}}$, como en el proyecto del bloque 2, y se truncan a $T_{\max} = 128$ posiciones. Se dan tres vueltas. Se imprime $\mathcal{L}$ después de cada una, y $\text{acierto}(D_{\text{prueba}})$ al final. Y la última celda te deja escribir tus propias frases y ver qué contesta.

Los dos números que importan son ésos, y lo que hay que mirar no es cuánto valen sino cuánto ha hecho falta para conseguirlos: tres vueltas, unos miles de ejemplos y unos minutos de GPU. Compáralo con lo que costó el 88.3 % del bloque 2 y con lo que costaron las semanas de preentrenamiento que hay debajo.

Y una concesión, dicha en voz alta porque es la primera del curso de este tamaño. En el cuaderno, loss.backward() calcula el gradiente de todo el modelo en una línea. Eso es exactamente la recurrencia que derivaste en la lección sobre backpropagationBlock 2 · Lesson 8Backpropagation: la derivación completaDerivar peso a peso obliga a recorrer la red una vez por parámetro, y esos recorridos comparten casi todo. Backpropagation calcula en su lugar un solo número por preactivación —el error de esa neurona—, con una única pasada del final al principio, y deja que cada peso lea su derivada como el producto de ese error por lo que tenía delante. y programaste en la de implementar el MLPBlock 2 · Lesson 9Implementar un MLP desde ceroLas cuatro piezas del entrenamiento están desarrolladas y ninguna celda las ha ejecutado seguidas. Montarlas cuesta apilar la vuelta por filas —con el 1/B que trae la media—, y tomar la decisión que ninguna fórmula toma: de dónde parten los pesos. Todos iguales se quedan iguales para siempre, y por eso la inicialización es al azar., corriendo sobre un grafo que la biblioteca ha construido sola mientras hacía el forward pass. Es la única pieza de este cuaderno que hace algo que tú no has escrito, y ahora sabes qué es lo que hace.

Comprueba tu intuición

Tres preguntas: por qué esto no cabe en el navegador, qué pasa si no bajas la tasa de aprendizaje y qué es exactamente lo que aporta haber preentrenado.

Con eso se cierra el curso. La entrada del vocabulario que en el bloque 1 tenía una fila y una sola tiene ahora un vector por frase, y entre aquella tabla y este cuaderno no hay más que lo que has escrito tú: una neurona, una pila de capas, una recurrencia, dos compuertas, una atención y quince cajas. El modelo que acabas de ajustar no lleva dentro ni una operación que no hayas derivado antes en una lección y ejecutado después en una celda.

Lo que queda es leer. Attention is All You Need es un artículo corto y ahora se lee caja por caja —la lección sobre las quince cajasBlock 5 · Lesson 8Quince cajas, cinco númerosDescrito, el Transformer está entero desde la lección anterior; construido no, porque ninguna pieza se ha comprometido todavía con un tamaño. El artículo elige cinco números y de ellos sale todo lo demás: las anchuras de las tres proyecciones, la forma de la matriz de salida de multi-head, las filas de la tabla de embeddings y el recuento entero de parámetros. Antes hace falta cerrar la única caja de la figura que no tiene lección detrás, la de arriba del todo, y resulta ser la tabla del bloque 1 leída al revés: la misma matriz que abajo convierte tokens en vectores, arriba convierte un vector en una puntuación por entrada. El artículo la usa en tres sitios y esa decisión se paga en el recuento, donde también se ve que el reparto de los sesenta y tres millones no está donde el dibujo sugiere. las puso todas sobre su figura 1—, y detrás de él hay una literatura que se dedica a cambiarle piezas: otras maneras de codificar la posición, atenciones que calculan lo mismo moviendo menos memoria, bloques donde cada token activa sólo una parte del perceptrón, variantes para contextos de cientos de miles de posiciones. Ninguna de ellas es una arquitectura nueva. Todas son ediciones sobre la aritmética que montaste en el proyecto del TransformerBlock 5 · Lesson 9Proyecto: un Transformer desde ceroEl artículo entero, montado y ejecutado: un vocabulario de doce entradas compartido por los dos idiomas, dos bloques por columna, dos cabezas y una frase de cinco tokens que sale por arriba convertida en seis distribuciones. Las seis funciones que hacen el trabajo son los desafíos de las lecciones anteriores sin tocar una letra, y lo que las une es que todo lo de en medio recibe T por d_model y devuelve T por d_model. Nadie ha entrenado estos pesos, así que la traducción que propone no significa nada; lo que sí se puede comprobar con pesos cualesquiera son tres cosas, y la segunda es la que este montaje añade: que ninguna posición del decoder ve lo que todavía no se ha escrito exige la máscara en cada uno de los bloques, no en el primero, y quitar una sola se mide., y ése es el sitio donde este curso te deja: no delante de un modelo que funciona, sino delante de un artículo que puedes discutir.