Predecir no es obedecer

El bloque anterior se cerró con una afirmación que no llegó a demostrar. La hacía de su propio modelo, el mini-GPT que el proyecto del bloqueBloque 1 · Lección 9Proyecto: el modelo hecho funciónEl proyecto del bloque: el tokenizador, el checkpoint, el muestreo y la caché detrás de una sola función, modelo(prompt) -> texto. La lección escribe su firma y su contrato, deriva de qué distribución es una muestra lo que devuelve y cuánto cuesta cuando el texto no cabe en la ventana, y la congela para los bloques siguientes. convirtió en la función modelo(prompt) -> texto, cuyo contrato garantiza de qué distribución sale cada token y calla sobre lo que quería quien escribió el prompt. Y la extendía a cualquier modelo entrenado de la misma manera, por grande que fuera: un modelo que sólo ha aprendido a predecir texto no hace lo que se le pide, y no por pequeño. Esta lección la demuestra, y la demostración dice qué habría que cambiar.

Hay un caso famoso. A principios de 2022, al presentar sus modelos entrenados para obedecer, OpenAI enseñó lo que hacía GPT-3, con 175 000 millones de parámetros, ante una petición sencilla: explicarle a un niño de seis años la llegada a la Luna en unas pocas frases. GPT-3 no escribió ninguna sobre la Luna. Escribió más peticiones como aquélla, una detrás de otra: explicarle a un niño de seis años la gravedad, el big bang. Es un modelo más de un millón de veces mayor que el mini-GPT, y ante una petición hizo lo mismo que hará el tuyo dentro de unas líneas. Y no predijo mal.

Mira esa petición como la mira un modelo que sólo ha aprendido a predecir. No es algo que alguien le dice: es el principio de un documento, y su trabajo es escribir cómo sigue. La pregunta que se hace no es qué le piden, sino qué documentos empiezan así y qué viene después en cada uno. Prueba con una instrucción en español, Explica en dos frases por qué el cielo es azul., y piensa dónde la has visto escrita:

Un modelo que predice bien no elige uno de los cuatro: los pesa, cada uno según lo frecuente que es que un documento de su clase empiece así. Sólo el libro de ejercicios resueltos obedece. Que el modelo explique el color del cielo es tan probable como que esté escribiendo ese libro, y GPT-3, ante la petición de la Luna, apostó por una lista de ejercicios. Predijo bien una cosa distinta de la que se le pedía.

Un modelo que predice bien hace lo que hace su texto

Fijemos la notación del bloque. Llamemos $x$ al prompt entero, como en el proyecto, e $y$ a lo que el modelo escribe detrás, las dos secuencias de tokens. Cuando $x$ pide algo, una pregunta o una orden, es una instrucción, y lo que el proyecto llamaba continuación es desde aquí una respuesta, como la de la lección sobre el aprendizaje en contextoBloque 1 · Lección 8Aprendizaje en contexto: el prompt como programaUn modelo grande hace, con unos cuantos ejemplos en el prompt y los pesos quietos, tareas que nadie le entrenó a hacer. La lección lo escribe en la notación del bloque, deriva por qué predecir el texto obliga a reconocer la tarea que siguen los ejemplos y mide por qué el mini-GPT no puede: su texto no tiene esas tareas, y lo que lee más allá de unos ocho tokens no le sirve., conteste o no: el nombre dice para qué se le pide al modelo, no si lo consigue.

Lo que el bloque anterior le hizo al mini-GPT, entrenarlo a predecir su texto, se llama desde aquí preentrenamiento, como en la lección del curso anterior sobre BERT y GPTDeep Learning para NLP: del Perceptrón al TransformerBloque 5 · Lección 10BERT y GPT: una columna cada unoEl modelo de la lección anterior sabe correr y para aprender pide lo más caro que hay: pares de frases con su traducción, escritos uno a uno a mano. Texto suelto, en cambio, sobra. Las dos familias que salieron del artículo en 2018 contestan a esa escasez quitando una columna, moviendo la máscara y cambiando qué se les pide predecir, y ninguna de las tres cosas es una operación nueva. Por el camino pagan una deuda del bloque 1: la firma de la representación deja de recibir una entrada del vocabulario y pasa a recibir la frase, que es lo único que puede darle a banco dos vectores. La celda lo mide en la misma posición de dos frases, y de los tres números que imprime, dos valen 1 por construcción.: es el entrenamiento que va primero, y este bloque pone otros detrás. Partamos una ventana del texto en dos, $x$ lo de delante e $y$ lo de detrás. Por la regla de la cadena, $-\log p_\theta(y \mid x)$ es la suma de las pérdidas de los tokens de $y$, así que el preentrenamiento persigue

con el par sacado del texto. La desigualdad de la lección sobre la perplejidadBloque 1 · Lección 6Perplejidad: medir un modelo de lenguajeUn modelo que sólo cuenta bytes paga, sobre las páginas de Marianela que el mini-GPT no vio, la misma pérdida por token que el mini-GPT. La lección explica por qué eso no dice nada: convierte la pérdida en perplejidad, el número de candidatas entre las que duda el modelo, y en bits por byte, la medida que no depende del tokenizador; le pone al lado dos varas de medir, el modelo uniforme y el de unigramas; y demuestra por qué la pérdida sobre el texto de entrenamiento engaña y la del texto reservado no. pone su mínimo en un solo sitio, como ya usó la lección sobre el aprendizaje en contexto: $p_\theta(\cdot \mid x) = p_{\text{texto}}(\cdot \mid x)$ en cada $x$ que el texto contiene. Con red y texto de sobra, un modelo preentrenado es su texto.

Y el texto, detrás de una instrucción, hace varias cosas. Es la suma sobre tareas de aquella lección, con la instrucción en el lugar de los ejemplos y el caso: $x$ aparece en documentos de varias tareas $\omega$ (el examen, el foro, el libro resuelto), y lo que viene detrás depende de en cuál esté,

donde el primer factor dice cuánto cree el texto, leída $x$, que está en un documento de la tarea $\omega$, y el segundo cómo sigue un documento así.

Una respuesta obedece a una instrucción si hace lo que pide: contesta la pregunta, cumple la orden, bien o mal. Es lo que el título del bloque llama seguir instrucciones, y aquí será obedecer, porque seguir ya tiene trabajo: lo que sigue a $x$ es su continuación. La probabilidad de que el modelo obedezca es la masa que pone en las respuestas que obedecen, con la palabra que la lección sobre el muestreoBloque 1 · Lección 4Muestreo: temperatura, top-k y top-pUna distribución no es un texto: para escribir hay que quedarse con un token en cada posición. La lección deriva la familia entera de reglas a partir de un solo mando, la temperatura, cuyos dos extremos son la favorita de siempre y el sorteo uniforme; demuestra por qué la generación voraz acaba en un ciclo del que no sale y por qué sortear sin más acaba sacando tokens de la cola; y presenta top-k y top-p como dos maneras de cortar esa cola antes de sortear. Todo medido sobre el mini-GPT. usaba para un conjunto de entradas:

Un suceso escrito en palabras dentro de $p_\theta$ nombra el conjunto de respuestas que describe. En el óptimo del preentrenamiento, $p_\theta$ es $p_{\text{texto}}$, y sumar la mezcla de arriba sobre las respuestas que obedecen deja

Cada tipo de documento aporta lo que pesa por lo que obedece dentro de él: el examen y el foro, casi nada, y el libro resuelto, casi todo su peso. El número es una propiedad del texto, y el modelo lo hereda.

En la pérdida del preentrenamiento no hay ningún término que premie obedecer. Se hace mínima copiando esa suma, no inclinándola hacia uno de sus sumandos. Según las leyes de escalaBloque 1 · Lección 7Leyes de escala: Kaplan y ChinchillaLa pérdida de un modelo de lenguaje baja como una potencia de sus parámetros, de los tokens que lee y del cálculo que gasta: una recta en ejes logarítmicos. La lección cuenta lo que cuesta entrenar, C ≈ 6ND, deriva el reparto óptimo de un presupuesto entre modelo y datos, lee en las cifras de Chinchilla sus 20 tokens por parámetro y hace las cuentas del mini-GPT: su tamaño es el que Chinchilla le daría a su cálculo, y lo que le falta es texto., más parámetros y más tokens del mismo texto bajan la pérdida hacia su suelo, $\mathcal{L}_{\infty}$, y bajar hacia él es acercar $p_\theta$ a $p_{\text{texto}}$: la masa en obedecer va hacia la del texto, quede por encima o por debajo de la de ahora. El tamaño no la arregla. La copia mejor.

Obedecer, y obedecer bien

Obedecer no basta: en un foro, quien contesta mal también obedece. Llamemos buena a una respuesta que obedece y que, además, es la que elegiría quien escribió la instrucción: correcta, útil, en el tono que pedía. Las buenas son una parte de las que obedecen, así que la regla de la cadena, aplicada a los dos sucesos, parte su probabilidad en dos factores:

En el óptimo del preentrenamiento los dos son los del texto. El primero, por la suma de la sección anterior; el segundo, porque las respuestas que trae el texto son las que alguien escribió en él, las del foro con sus errores y las del libro con los suyos. Un modelo preentrenado, cuando obedece, contesta tan bien como su texto.

Los dos factores no se arreglan igual, y eso ordena el bloque. El primero es de forma: contestar en lugar de seguir con el documento, algo que se enseña con ejemplos de la forma. El segundo es de juicio: entre dos respuestas que obedecen, cuál es mejor, que es más fácil de reconocer que de escribir. A la forma le dedica el bloque sus primeras lecciones, y al juicio, las siguientes. El artículo de InstructGPT midió lo que dan las dos juntas: las respuestas de un modelo de 1 300 millones de parámetros entrenado así se prefirieron a las de GPT-3, más de cien veces mayor.

Lo que el prompt mueve, y lo que no

Antes de tocar $\theta$ queda una palanca más barata, y durante años fue la única: cambiar $x$. El primer factor depende de $x$ a través de $p_{\text{texto}}(\omega \mid x)$, y la regla de Bayes de la lección sobre el aprendizaje en contexto, sin ejemplos, dice cómo:

Escribe la instrucción como la escribiría un documento que obedece, y $p_{\text{texto}}(x \mid \omega)$ sube para ese documento y baja para los demás. GPT-2 resumía un artículo si se le añadía detrás TL;DR: (too long; didn't read), porque en sus páginas web eso suele ir seguido de un resumen. Una pregunta escrita como Pregunta: … Respuesta: se parece más a una página de preguntas frecuentes que a un examen.

La palanca tiene tres límites, y los tres empujan hacia $\theta$. No crea documentos: si el texto no tiene ninguno que obedezca en ese formato, su $p_{\text{texto}}(\omega)$ es cero y ningún $x$ lo levanta, que es la conclusión de la lección sobre el aprendizaje en contexto. Sube el primer factor y deja el segundo donde estaba, porque el documento que contesta trae sus respuestas, buenas o no. Y le pasa el trabajo a quien pide: para cada cosa que quiera, tiene que redactar el principio de un documento que continúe con ella.

Lo que habría que optimizar

Escribamos lo que querríamos, con la misma forma que el preentrenamiento:

con $x$ sacada de las instrucciones que la gente escribe de verdad, que no son las del texto. Frente al preentrenamiento le falta lo que lo hace calculable: nadie sabe escribir como fórmula qué respuesta es buena, ni tiene una distribución de la que sacar esas instrucciones. Pero el preentrenamiento enseña una salida. Su mínimo es el texto con que se entrena, sea el que sea: $p_{\text{texto}}$ no es una ley de la naturaleza, sino una elección. Entrenemos el modelo sobre un texto de pares $(x, y)$ en los que $y$ obedece a $x$, y en su óptimo $p_\theta(\text{obedece} \mid x)$ vale uno en las instrucciones de ese texto. Es lo que hace este bloque, partiendo de los pesos del preentrenamiento y no de cero, para no tirar lo que el modelo ya sabe del idioma.

El mini-GPT ante una pregunta

La celda corre sobre el mini-GPT, cargado en una línea desde la copia congelada del proyecto, y no lo entrena. Primero le hace una pregunta que la novela no contiene, ¿De qué color es la tierra?, con tres semillas. Después mira la novela: tras cada uno de sus signos ?, cómo sigue el texto, en cinco maneras, y cuánta masa pone el mini-GPT en cada una en esos mismos sitios, leyendo sólo los ocho tokens de antes (la lección sobre el aprendizaje en contexto midió que más no le sirven). Al final prueba el marco de una página de preguntas.

Ninguna de las tres respuestas dice un color: las tres son novela, con sus puntos suspensivos, su —dijo María y su raya de diálogo. La tabla dice por qué. Tras los 433 ? de la novela el texto sigue de cinco maneras, la más frecuente un párrafo nuevo (39.5 %), y el mini-GPT reparte su masa entre esas mismas cinco sin alejarse más de 3.2 puntos de ninguna. Es la primera afirmación de la derivación, medida en un caso: tras una pregunta, el mini-GPT hace lo que hace su texto. Tras la pregunta nueva el reparto se parece, con más puntos suspensivos.

Ninguna de las cinco maneras es contestar a quien pregunta. Un párrafo nuevo es muchas veces otro personaje que contesta, pero contesta a otro personaje y dentro de la novela, y eso es lo que el mini-GPT intenta cuando abre uno. El marco tampoco ayuda. Respuesta: no sale ni una vez en la novela, así que un documento que conteste con ese formato tiene probabilidad cero en su texto, y la generación voraz, detrás del marco, abre otro párrafo de diálogo: —No ves acarde todas las minas. Es el primer límite del prompt. El bloque volverá a esta pregunta y a este marco cuando haya cambiado el texto.

Comprueba tu intuición

Cuatro preguntas: el tamaño, una mezcla de documentos, el marco y las palancas.

La salida que deja esta lección es cambiar el texto: seguir entrenando el modelo preentrenado sobre pares de instrucción y respuesta en los que la respuesta obedece. Para eso cada par tiene que escribirse como un texto, y ahí aparece un problema que la novela no tenía. El modelo tiene que saber dónde acaba lo que se le pide y dónde empieza lo que le toca escribir, y quién habla en cada trozo cuando una conversación tiene varias intervenciones. Pregunta: y Respuesta: eran un intento, y el mini-GPT no los había leído nunca.

Esa frontera no la reconoce un modelo porque esté bien elegida. La reconoce porque la ha leído, como reconoce todo lo demás. La lección siguiente, sobre la plantilla de chat, la trata como lo que es, un formato que se entrena, y enseña la cadena exacta que recibe un modelo de chat cuando le escribes.