Salida estructurada: generación restringida

Hasta aquí, el bloque ha pedido. La especificaciónBloque 3 · Lección 1El prompt es una especificaciónCon los pesos fijos, el prompt es el argumento de una función que no cambia: el prompt de sistema describe la tarea, los ejemplos la muestran y el caso es aquello a lo que se aplica. La lección deriva qué puede conseguir un prompt y qué no, por qué un programa que llama a un modelo comprueba cada respuesta, y presenta el modelo guionizado, sobre el que corre casi todo el bloque. le dijo al modelo qué forma tiene la respuesta, y la lección sobre la cadena de pensamientoBloque 3 · Lección 2Cadena de pensamiento: más tokens, más cómputoCada token recibe una pasada por las mismas capas, sea fácil o difícil. La lección demuestra que una cadena de pensamiento multiplica la profundidad de lo que la red puede calcular antes de responder, cuenta lo que cuesta, mide en el mini-GPT que escribir un token sale mucho más caro que leerlo, y cita lo que se sabe de cuánto ayuda, que sólo se ve en modelos grandes., además, dónde ponerla. Con un modelo de verdad, pedir funciona casi siempre, y para el resto el harness mira cada respuesta y repite la llamada que no sirve. Lo que el bloque no ha tocado todavía es el sorteo. El modelo da los logits, y quien sortea con ellos el token siguiente es el código que lo rodea; cuando el modelo corre en una máquina tuya, como el mini-GPT en este navegador, ese código es tuyo.

Lo que un programa suele querer leer es JSON (JavaScript Object Notation), el formato en que se pasan datos casi todos los programas: un objeto entre llaves, con campos de nombre y valor y cada nombre entre comillas, como {"fecha": "2026-10-20"}. Un lector de JSON es más estricto que cualquier comprobación: con una comilla de menos, no lee nada. Y a tu mini-GPT ningún prompt le saca uno, porque en Marianela no hay ni una llave ni unas comillas rectas. Tras ¿Quién es la protagonista? Responde en JSON., le da a { una probabilidad de $1.2 \times 10^{-7}$. ¿Qué pasa si el harness, antes de cada sorteo, deja sin probabilidad a todo token que rompería el JSON? La forma queda garantizada. Falta saber qué más cambia.

Sigue al mini-GPT desde el primer token: sus favoritas son un salto de línea ($0.34$) y palabras con su espacio delante, y { está entre las últimas de 512. Pero un JSON sólo puede empezar por una llave, así que el harness tira todas las demás entradas y le da a { el 100 %. Después sólo valen unas comillas, después cualquier entrada que siga escribiendo personaje, y así durante catorce posiciones en las que el texto ya está decidido, aunque no los tokens que lo escriben. En la decimoquinta hay, por primera vez, algo que elegir: la gramática de las celdas admite cinco nombres de la novela, y sus iniciales son cuatro entradas, C, N, P y T.

En la posición del nombre, el modelo le da a P $2.5 \times 10^{-5}$ y a N casi cuarenta veces menos, y la máscara reparte el 100 % en esa misma proporción: un 61 % para P, un 1.6 % para N. Mira qué viene después en cada camino. Tras la N, el mini-GPT escribe ela con un 58 % sin máscara: ha leído Nela cientos de veces. Tras la P apuesta por or, la de Por, y a las dos entradas que siguen escribiendo Pablo les deja un 4.6 % entre las dos. La máscara se lo da todo a esas dos. Nunca preguntó si el modelo quería escribir Pablo: preguntó qué inicial le gustaba más, y la P es la de Pero, Por y Pues.

La máscara es el corte sobre lo que la gramática permite

Llamemos gramática a un conjunto de textos, $\mathcal{G}$: los que el programa sabe leer. Un esquema de JSON es una manera habitual de escribirla (qué campos lleva el objeto y qué valores admite cada uno), y la de las celdas es pequeña: cinco textos, {"personaje": "Nela"} y el mismo con Pablo, Teodoro, Celipín o Choto. Una respuesta $y$ es válida cuando su texto está en $\mathcal{G}$, y como varias secuencias de tokens escriben el mismo texto, todas cuentan.

Sea $x$ el prompt e $y_{<j}$ lo que la respuesta lleva escrito. Las entradas permitidas en la posición que sortea $y_j$ son

Bytes y no caracteres, porque un token puede ser medio carácter: el mini-GPT tiene entradas que son sólo el primer byte de una í, y tras Celip una de ellas está permitida.

La máscara pone $z_v = -\infty$ en toda entrada fuera de $A_j$, donde $z_v$ es la entrada $v$ de los logits $\mathbf{z}(x, y_{<j})$ de esa posición, y aplica la softmax. Como $e^{-\infty} = 0$, a cada $v \in A_j$ le queda

donde $p_\theta(A_j \mid x, y_{<j})$ es la masa de las permitidas, y fuera de $A_j$, cero. Dividir arriba y abajo por la misma suma no cambia el cociente, y convierte cada término en una probabilidad del modelo. Es el corte de la lección sobre el muestreoBloque 1 · Lección 4Muestreo: temperatura, top-k y top-pUna distribución no es un texto: para escribir hay que quedarse con un token en cada posición. La lección deriva la familia entera de reglas a partir de un solo mando, la temperatura, cuyos dos extremos son la favorita de siempre y el sorteo uniforme; demuestra por qué la generación voraz acaba en un ciclo del que no sale y por qué sortear sin más acaba sacando tokens de la cola; y presenta top-k y top-p como dos maneras de cortar esa cola antes de sortear. Todo medido sobre el mini-GPT. con $A_j$ en el lugar del núcleo, y es también la probabilidad de $v$ sabiendo que el token sale de $A_j$. Escribamos $\tilde{q}(v \mid x, y_{<j})$ para ese cociente, como allí, y $\tilde{q}(y \mid x)$ para su producto a lo largo de la respuesta. (Con $\tau = 1$ y sin otro corte, para que lo recortado sea $p_\theta$; con temperatura, vale igual para $\mathbf{q}$.) No es la máscara causal de la atención ni la de la pérdida del ajuste: ésta actúa a la salida de la red, sobre los logits.

Generar con la máscara en cada posición es la generación restringida (constrained decoding; no decimos decodificación porque decodificar es pasar de ids a texto).

Toda respuesta generada con la máscara es válida

La demostración es una inducción sobre $j$. Al principio no hay nada escrito, y el texto vacío empieza cualquier texto de $\mathcal{G}$. Supongamos que lo escrito hasta $y_{<j}$ empieza algún texto $g \in \mathcal{G}$. Si ya es $g$ entero, el harness para. Si no, el byte siguiente de $g$ es una entrada de $V$, porque los 256 bytes lo son desde el BPE a nivel de byteBloque 1 · Lección 2BPE de verdad: fusionar, no solo partirEl tokenizador del mini-GPT, escrito desde cero. BPE parte de los 256 bytes con los que se escribe cualquier texto y repite una sola operación: contar los pares de tokens vecinos y fusionar el más frecuente. Esta lección deriva lo que eso garantiza (ningún texto se queda sin tokens, y decodificar devuelve el original byte a byte) y lo que cuesta (cada fusión es una entrada más del vocabulario y ahorra menos tokens que la anterior), y lo comprueba entrenando sobre Marianela las mismas fusiones que usa el modelo.; así que $A_j$ no está vacío y la softmax tiene algo que repartir. Y lo que se sortee está en $A_j$, así que lo escrito con $y_j$ vuelve a empezar un texto de $\mathcal{G}$. Como cada token añade al menos un byte y los textos de $\mathcal{G}$ tienen una longitud máxima, la generación acaba, y acaba en un texto de $\mathcal{G}$.

La prueba se apoya en dos condiciones. Ningún texto de $\mathcal{G}$ puede ser el principio de otro, para que parar al completar uno no corte otro más largo: un objeto JSON se cierra con su llave, y nada lo continúa. (Un modelo con token de fin lo resuelve de otra manera: la gramática lo permite justo cuando el texto está completo.) Y los textos necesitan un largo máximo: el mini-GPT le da a cerrar unas comillas del orden de $10^{-6}$, y en un campo de texto libre tardaría un millón de tokens en hacerlo.

La máscara no sortea lo que el modelo diría

Que la respuesta sea válida no dice cuál de las válidas sale, y ahí la máscara y el modelo dejan de estar de acuerdo. Lo que el modelo diría si sólo pudiera dar respuestas válidas es su propia distribución sobre respuestas enteras, recortada a $\mathcal{G}$ y renormalizada:

la condicionada, donde $p_\theta(\mathcal{G} \mid x)$ es la masa de las respuestas válidas, la probabilidad de que el modelo escriba un texto de $\mathcal{G}$ sin máscara, con el harness parando en cuanto lo complete o se salga. Para un solo token, la definición de probabilidad condicionada da $p_\theta(y_j, \mathcal{G} \mid x, y_{<j}) / p_\theta(\mathcal{G} \mid x, y_{<j})$, y el numerador es la probabilidad de escribir $y_j$ por la de acabar en $\mathcal{G}$ después:

donde $p_\theta(\mathcal{G} \mid x, y_{\le j})$ es la probabilidad de acabar en un texto de $\mathcal{G}$ con $y_{\le j}$ ya escrito. Vale cero fuera de $A_j$, y dentro mide lo que le cuesta al modelo escribir lo que falta. (El producto de estos factores sobre $j$ se telescopa hasta $p_\theta(\mathcal{G} \mid x, y) / p_\theta(\mathcal{G} \mid x)$, y con $y$ válida y completa el numerador vale 1: la condicionada de arriba.)

La máscara usa el mismo primer factor y, en el lugar del cociente, divide por $p_\theta(A_j \mid x, y_{<j})$, el mismo número para todas las permitidas. Trata a cada entrada de $A_j$ como si lo que falta por escribir estuviera asegurado. A lo largo de una respuesta entera,

Las dos distribuciones tienen el mismo numerador. La condicionada divide toda respuesta válida por el mismo número; la máscara divide cada una por el producto de las masas que conservó en su camino, y ese producto es pequeño justo en los caminos por los que el modelo quería salirse de la gramática. Ésos son los que la máscara infla. Pablo es uno: tras su P, la máscara conservó un 4.6 % de la masa, y tras la N de Nela, un 59 %.

El rechazo sortea bien, a un precio imposible

La condicionada se puede sortear sin calcular ningún cociente, con el muestreo por rechazo (rejection sampling): sortear respuestas enteras sin máscara y tirar cada una que no sea válida, hasta que salga una. Cada intento es independiente y sale válido con probabilidad $p_\theta(\mathcal{G} \mid x)$, así que $y$ sale en el intento $i$, tras $i - 1$ tirados, con probabilidad $\bigl(1 - p_\theta(\mathcal{G} \mid x)\bigr)^{i-1} p_\theta(y \mid x)$. La suma sobre $i$ es una serie geométrica,

y da la condicionada exacta. El precio es el número de intentos, cuya esperanza es

porque la serie con el factor $i$ es la derivada de la geométrica respecto de su razón, y vale el cuadrado de lo que valía aquélla, $1/p_\theta(\mathcal{G} \mid x)^{2}$. Un intento puede en cuanto su texto deja de empezar uno de $\mathcal{G}$, con la misma comprobación de prefijo que usa la máscara; eso ahorra pasadas, no intentos.

La máscara, sobre el mini-GPT

Las dos celdas corren sobre tu mini-GPT del bloque 1 y no sobre el modelo guionizado: la máscara actúa sobre los logits, y el modelo guionizado devuelve texto sin pasar por ninguno. La primera escribe la gramática, permitidas y una generación que sortea de la softmax enmascarada, y le da el prompt al mini-GPT sin máscara y con ella. Mira tres cosas: lo que escribe sin ella, que json.loads lee cada respuesta con ella, y qué tokens eligió en cada una.

Sin máscara, el mini-GPT sigue escribiendo a la manera de Galdós. Con ella, cinco JSON que json.loads lee, de un modelo que nunca había visto una llave. El texto es uno de cinco; los tokens, no: tras pers, las respuestas escriben o y n sueltas donde el tokenizador habría puesto on, porque la máscara sortea entre todas las permitidas y el modelo, tras pers, apuesta por la o. Y entre los cinco nombres no sale Nela.

¿Es eso lo que diría el mini-GPT si sólo pudiera dar respuestas válidas? La segunda celda no sortea: recorre todos los caminos de tokens que acaban en un texto de $\mathcal{G}$, una pasada por posición, y suma lo que vale cada uno sin máscara y con ella.

Son 132 caminos. Sin máscara, el mini-GPT escribe un JSON válido con probabilidad $8.1 \times 10^{-63}$, así que el rechazo necesitaría, de media, $1.2 \times 10^{62}$ intentos: a un nanosegundo cada uno, unos $4 \times 10^{45}$ años. La máscara saca uno con una pasada por token.

La tabla es la otra mitad de la lección. Entre las respuestas válidas, el mini-GPT prefiere Nela casi siempre, un 99.4 %, y no porque entienda la pregunta: una vez escrita la N, sabe terminar ese nombre mucho mejor que cualquier otro. La máscara le da a Nela un 1.6 % y a Pablo un 62 %, y deja a Choto por delante de ella. Las dos columnas salen de las mismas probabilidades. Sólo cambia por qué se divide.

Para el harness quedan tres consecuencias. La máscara garantiza lo que la gramática describe, y nada más. Deforma poco a un modelo que ya escribe la forma, porque si cada masa conservada está cerca de 1, su producto también, y $\tilde{q}$ se queda cerca de $p_\theta$; por eso el prompt sigue pidiendo el JSON que la máscara impone, y pedir y forzar se suman. Y escribe los campos en el orden del esquema, mientras que una cadena de pensamiento sólo sirve antes de la respuesta: un esquema con un campo para los pasos delante del de la fecha deja pensar al modelo sin salirse del JSON.

Comprueba tu intuición

Cuatro preguntas: la condicionada en pequeño, la comprobación, cuándo coinciden las dos distribuciones y las celdas. Después, la máscara del programa de las fechas.

La máscara le quita al modelo la libertad de equivocarse de forma, y ninguna otra. Lo que escribe dentro de la forma sale de sus pesos: el mini-GPT pone Nela porque la novela la repite, y si le preguntas por el personaje de otro libro te dará, igual de bien formado, uno de los cinco. Ninguna gramática le da un dato que no tiene.

La lección siguiente, sobre la recuperación, se ocupa de esa otra mitad: buscar en un corpus los pasajes que responden a la pregunta y ponerlos en el prompt, donde el modelo los puede leer. Para encontrarlos hace falta medir qué texto se parece a cuál, y para eso vuelven los embeddings.