El prompt es una especificación

Desde esta lección, los pesos no se mueven. El bloque anterior los movió para que un modelo obedeciera, y su proyecto, el ajuste de Qwen en ColabBloque 2 · Lección 8Proyecto: ajustar un modelo pequeño en ColabEl ajuste supervisado del mini-GPT, sobre un modelo de verdad: Qwen2.5-0.5B, 494 millones de parámetros, con 3 249 pares escritos en español por voluntarios. Ajustarlo entero pide 7.9 GB antes de la primera activación, casi el doble de lo que puede direccionar el Python del navegador, así que el proyecto es un cuaderno de Colab con GPU. Dentro del modelo espera un problema conocido: sus dos tokens de plantilla comparten fila con otros 290 que el preentrenamiento no distinguió, y el modelo no puede terminar una respuesta., dejó a la vista lo que eso no arregla: un modelo ajustado responde con lo que recuerdan sus pesos, y nadie mira si es verdad. Este bloque toma un modelo así, el que sea, y trabaja con lo que le queda en la mano a quien lo usa: el texto que le da y lo que hace con lo que recibe. ¿Qué es ese texto, con exactitud, para un modelo que no cambia?

Un programa de agenda recibe el mensaje La reunión se pasa al martes 20 de octubre. y le pregunta a un modelo ajustado qué fecha dice. El martes 20 de octubre. es una respuesta que obedece, y también lo son 20/10 y La reunión será el martes 20 de octubre. A una persona le valen las tres. Al programa, que tiene que escribir 2026-10-20 en un campo de su calendario, no le vale ninguna tal como llega, y el modelo no se ha equivocado: nadie le dijo qué se esperaba de él. Obedecer no basta.

Mira lo que le faltaba a esa pregunta. No decía la forma (año, mes y día, con guiones y nada más), ni qué contestar a un mensaje que no fija ningún día, ni de qué año es una fecha que no lo dice. Cada omisión deja abiertas varias lecturas, y el modelo no pregunta cuál querías: sortea una.

Un prompt para un programa así tiene tres piezas, y cada una hace un trabajo distinto. El prompt de sistema describe la tarea. Los ejemplos la muestran, con un par de mensajes resueltos. Y el caso es el mensaje de hoy, al que se aplica. La lección sobre el aprendizaje en contextoBloque 1 · Lección 8Aprendizaje en contexto: el prompt como programaUn modelo grande hace, con unos cuantos ejemplos en el prompt y los pesos quietos, tareas que nadie le entrenó a hacer. La lección lo escribe en la notación del bloque, deriva por qué predecir el texto obliga a reconocer la tarea que siguen los ejemplos y mide por qué el mini-GPT no puede: su texto no tiene esas tareas, y lo que lee más allá de unos ocho tokens no le sirve. concluyó que, con $\theta$ fijo, el prompt decide qué función calcula el modelo. Repartido así, las dos primeras piezas son un programa y la tercera su entrada, y el modelo es el intérprete, el mismo para cualquier programa que le des. Escribir el prompt es programarlo.

El parecido se rompe en dos sitios. El intérprete de Python no adivina: lo que no está escrito con exactitud es un error. El modelo no da errores, ejecuta una de las lecturas del programa, cada una con su probabilidad. Y un programa sin ninguna ambigüedad lo ejecuta bien con cierta probabilidad, no siempre. La primera diferencia la arregla el texto del prompt. La segunda, no, y obliga al programa a mirar lo que recibe.

El prompt, argumento de una función fija

Llamemos $s$ al prompt de sistema, $e_{1:K}$ a los $K$ ejemplos y $x$ al caso, las tres secuencias de tokens, con los nombres de la lección sobre el aprendizaje en contexto. Esta $s$ no es el paso de entrenamiento del bloque 1: en este bloque $\theta$ no se mueve y no hay pasos que contar. En una conversación, $s$ es el contenido del mensaje de sistema, cada ejemplo son dos mensajes (su caso escrito por el usuario y su respuesta por el asistente, aunque los dos los escriba quien programa) y el caso es el último mensaje del usuario. La plantilla los pone en fila, y el modelo da a cada respuesta $y$ la probabilidad

la política del bloque anterior con su prompt partido en tres piezas. Con $\theta$ fijo es una sola función, y todo lo que quien programa puede elegir está a la derecha de la barra.

Describir la tarea y mostrarla son la misma palanca

Para ver qué hace cada pieza, recuperemos el modelo reducido de aquella lección con las conversaciones del ajuste supervisado (supervised fine-tuning, SFT) en el lugar de los documentos. Cada conversación sigue una tarea $\omega$, la mayoría empieza por un prompt de sistema que la describe, y un modelo en el mínimo de su ajuste da lo mismo que su texto, $\pi_\theta = p_{\text{SFT}}$. Lo que sigue vale en la medida en que eso se cumpla, como valía allí el modelo reducido. Si $s$ se escribe según la tarea, como los ejemplos, la regla de Bayes le da un factor más:

Describir la tarea y mostrarla son, para el modelo, la misma clase de evidencia sobre la misma variable. Lo que cambia es cuánto pesa cada una y de qué habla. Una frase como Responde sólo con la fecha. es casi imposible en una conversación cuya tarea sea comentar la fecha, y por sí sola deja sin masa a esa tarea, algo para lo que harían falta varios ejemplos. Una descripción habla de todos los casos, también de los que ningún ejemplo enseña, como un mensaje sin fecha. Un ejemplo sólo habla del suyo, y por eso fija mejor lo que las palabras dicen mal: la forma exacta de 2026-11-07, sin punto y sin nada delante. Y ninguna de las dos crea tareas: como allí, a una tarea con $p_{\text{SFT}}(\omega) = 0$ no la levanta ningún prompt.

Nada en la red le da al prompt de sistema más autoridad que al caso: la lección sobre la plantillaBloque 2 · Lección 2La plantilla de chat es un formato entrenadoUn modelo lee una sola secuencia de tokens, y una conversación es una lista de mensajes con autor. La plantilla de chat escribe la una como la otra: cada mensaje entre el token especial de su rol y el de fin, que ningún texto puede producir, y eso la hace inyectiva, cosa que unas marcas de texto no consiguen. Dentro de ella la respuesta tiene un sitio exacto, su probabilidad es un producto y la máscara dice qué tokens se cobran al entrenar. Y un token especial que nadie ha entrenado no significa nada: la lección acota cuánto puede valer y lo mide en el mini-GPT, que no sabe terminar su respuesta. ya advirtió que su token dice quién escribió cada mensaje, no a quién hacer caso. La prioridad que tenga la pone el ajuste, en el factor $p_{\text{SFT}}(s \mid \omega)$, aprendido como cualquier otro.

Lo que una especificación no puede subir

Una especificación dice qué respuestas valen para cada caso: la tarea, la forma, lo que se hace en los casos raros. Un prompt es una manera de escribirla para el modelo, no la especificación misma. Escribamos $\text{cumple}$ para el conjunto de las respuestas que la cumplen, como el bloque anterior escribía $\text{obedece}$, y $\pi_\theta(\text{cumple} \mid s, e_{1:K}, x)$ para su masa. Con la suma sobre tareas de aquella lección,

y los dos factores de cada término dependen de cosas distintas. El primero es el de arriba, lo que el prompt mueve. El segundo ya no ve ni $s$ ni los ejemplos, porque fijada la tarea no dicen nada más sobre la respuesta: es la frecuencia con que una conversación de esa tarea responde a ese caso como pide la especificación. Es lo que el modelo sabe hacer.

Llamemos $\omega_1$ a la tarea que la especificación describe. Los demás términos de la suma no restan, así que el suyo, solo, es una cota por debajo:

Un prompt que no deja ninguna duda lleva el primer factor a 1, los demás términos se anulan con él, y la cota se vuelve igualdad:

Ésa es la frontera de una especificación. Afinarla mueve el primer factor hacia 1, y llegado ahí, otra frase u otro ejemplo no cambian nada: la masa se queda en lo que el modelo sabe hacer con esa tarea y ese caso. El prompt quita ambigüedad. No añade capacidad.

Cumplir cien veces seguidas

Un programa no llama al modelo una vez. Si cada respuesta cumple con probabilidad $0.99$ y cada llamada es un sorteo aparte, cien llamadas cumplen todas con probabilidad

Casi dos veces de cada tres, el programa recibe al menos una respuesta que no sabe leer. Que unas llamadas cumplan más que otras no lo arregla: con la misma media, el producto de las probabilidades es como mucho la media elevada al número de llamadas, por la desigualdad entre las medias aritmética y geométrica.

Así que una especificación se escribe dos veces. Una, en palabras y ejemplos, en el prompt, para subir la masa en $\text{cumple}$. Otra, en código, en lo que rodea al modelo, lo que el curso llama el harness: una comprobación que mira cada respuesta antes de usarla. No todo se puede comprobar así. La forma sí (año, mes y día, o ninguna), porque verla no pide saber la respuesta. Si la fecha es la buena, no, porque para eso hay que saber cuál es. Lo primero lo hace el harness en cada llamada; lo segundo es evaluar, y llega al final del bloque.

Un modelo que no improvisa

Las celdas del bloque necesitan un modelo al que darle prompts como éste, y tu mini-GPT no sirve: la lección sobre predecir y obedecerBloque 2 · Lección 1Predecir no es obedecerPor qué un modelo entrenado a predecir texto no hace lo que se le pide. En el óptimo del preentrenamiento copia lo que su texto hace después de una instrucción, y obedecer es sólo una de esas cosas. La lección lo deriva, lo mide en el mini-GPT y separa lo que el prompt puede arreglar de lo que exige cambiar el texto con que se entrena. lo vio seguir escribiendo la novela tras una instrucción, y el ajuste supervisadoBloque 2 · Lección 3Ajuste supervisado: máxima verosimilitud sobre un formatoSeguir entrenando un modelo preentrenado sobre pares de instrucción y respuesta es la entropía cruzada de siempre, cobrada sólo en la respuesta: máxima verosimilitud sobre el conjunto de pares. La lección deriva su óptimo, que copia el conjunto, y su gradiente, que es el del preentrenamiento con las filas del prompt a cero. Después ajusta el mini-GPT con diez preguntas: aprende el formato, lee la pregunta, inventa el contenido y olvida su novela. le enseñó la forma de diez respuestas y ningún contenido. Contar sus respuestas a esta especificación no diría nada de lo que hace una. Además, casi todo lo que el bloque enseña pasa alrededor del modelo: montar el prompt, comprobar lo que vuelve, decidir qué cabe en la ventana de contexto, medir. Para eso hace falta un modelo cuya respuesta se sepa de antemano, de modo que lo único que cambie sea tu código.

Desde aquí, casi todas las celdas corren sobre el modelo guionizado, una clase de Python con un guion dentro: la lista, en orden, de las conversaciones que espera recibir y la respuesta que dará a cada una. Tiene la firma que el curso mantiene hasta el final, modelo(mensajes, herramientas) -> respuesta. Recibe mensajes (rol, contenido) como los de la plantilla, que queda dentro de modelo como en un modelo servido, y devuelve texto; las herramientas esperan al bloque 4. Cada llamada compara los mensajes con los que tocan en el guion. Si coinciden, devuelve la respuesta y pasa al turno siguiente; si no, falla y dice en qué mensaje se ha desviado la conversación. No entiende el prompt, no sortea y no decide nada. Sus respuestas las he escrito yo.

La misma llamada, repetida, no da otra respuesta: la segunda encuentra el guion acabado. Lo que ganas con esa rigidez es que el modelo no cambia entre dos ejecuciones, y una celda o un desafío pueden comprobar tu código contra él. Lo que pierdes hay que decirlo igual de claro: el modelo guionizado no puede enseñarte que una especificación mejor saca respuestas mejores, porque las suyas no dependen de lo que escribas. Eso se mide en modelos de verdad, y sorprende: Sclar y sus coautores cambiaron sólo el formato de prompts con ejemplos (separadores, mayúsculas, espacios), sin tocar lo que pedían, y el acierto (accuracy) de un modelo abierto de 13 000 millones de parámetros se movió hasta 76 puntos.

La segunda celda escribe la especificación de las fechas en sus tres piezas, le da al modelo guionizado cuatro mensajes y comprueba cada respuesta. Para que la comprobación tenga algo que atrapar, he escrito dos de las cuatro mal, de dos maneras distintas.

Tres respuestas pasan la comprobación y una no. La segunda, La fecha es 2026-12-02., lleva delante cuatro palabras que un calendario no sabe leer, justo lo que la especificación prohibía. La cuarta pasa y está mal: el jueves es el 22 de octubre, no el 23. La comprobación mira la forma, y la forma está bien. Y la última línea es el modelo guionizado haciendo su trabajo: has cambiado la forma que pide el prompt de sistema y, en lugar de improvisar una respuesta, falla y dice en qué mensaje.

Cámbialo tú: escribe en ESCRITAS otra respuesta mal formada, o añade justo antes del bucle la línea EJEMPLOS = EJEMPLOS[:1] y mira en qué mensaje se desvía la conversación.

Comprueba tu intuición

Cuatro preguntas: las piezas del prompt, el techo de una especificación, cumplir muchas veces y lo que demuestra la celda.

Una especificación sin ambigüedad deja al modelo frente a una sola tarea, y ahí la masa en lo que el programa pedía es la que el modelo sabe darle. La cuenta, sin embargo, suponía algo que nadie le ha pedido: que escribe la respuesta desde su primer token. Cada token sale de una pasada de la red, con el coste por token de la lección sobre la cachéBloque 1 · Lección 5La caché de claves y valores: cuánto cuesta cada tokenPara escribir cada token, el mini-GPT volvía a pasar el texto entero por la red. La lección demuestra que las claves y los valores de las posiciones ya leídas no cambian, los guarda en una caché y cuenta lo que cuesta cada token con ella y sin ella: sin ella, exactamente t veces más; con ella, una memoria que crece con el texto y que en un modelo grande llega a ocupar más que sus pesos. Todo medido sobre el mini-GPT, y contra el reloj., así que una fecha escrita de entrada tiene, para decidirse, las pocas pasadas que tarda en escribirla.

Pedirle que escriba antes otra cosa, los pasos que llevan a la respuesta, le da más pasadas, y cada una se paga. La lección siguiente, sobre la cadena de pensamiento, pone esa factura junto a la cuenta de la caché y separa lo que esos tokens cuestan, que se mide en el navegador, de lo que compran, que hay que ir a buscar a los modelos grandes.