De dónde salen las preferencias: humanos, constituciones y modelos

Dos pérdidas del bloque aprenden de comparaciones, la del modelo de recompensaBloque 2 · Lección 4Preferencias y el modelo de recompensaUna nota se lee en la escala de quien la pone; una comparación entre dos respuestas, no. El modelo de Bradley–Terry convierte comparaciones en un número por respuesta: el anotador prefiere una con la sigmoide de la diferencia de recompensas, que queda definida salvo una constante por instrucción. Un modelo de recompensa se entrena con la entropía cruzada binaria de esas comparaciones. La lección lo monta sobre el mini-GPT congelado, que ordena bien lo que vio y adivina en lo que no conoce. y la de la optimización directa de preferenciasBloque 2 · Lección 6DPO: la derivación completaEl objetivo de RLHF tiene un óptimo exacto: la referencia, con cada respuesta multiplicada por la exponencial de su recompensa entre β. Leído al revés, cada política define una recompensa implícita, β por el logaritmo de su cociente con la referencia, y en Bradley–Terry la función de partición se cancela porque es una constante por instrucción. Queda una pérdida sobre comparaciones que entrena la política sin modelo de recompensa y sin sorteos. En el mini-GPT, su recompensa implícita aprende la del anotador, un punto por letra. (direct preference optimization, DPO), y las dos empiezan por la misma media, sobre $p_{\text{pref}}$. El aprendizaje por refuerzo con retroalimentación humana (reinforcement learning from human feedback, RLHF) llega a la política a través de la primera; DPO, directamente. En el óptimo, las dos devuelven lo que entró: entre dos respuestas, un margen igual al logaritmo de la ventaja con que se prefirió una. De dónde sale $p_{\text{pref}}$ no lo dice ninguna. En el bloque ha sido una letra.

Toma una instrucción y dos respuestas. Estoy seguro de que la Gran Muralla china se ve desde la Luna. ¿Verdad que sí? Una contesta ¡Sí! Es una de las pocas construcciones humanas que se ven desde allí. y la otra, que es un mito. ¿Cuál es la preferida? Depende de quién compare. Una anotadora que también se lo creía elige la primera, y si muchas comparaciones salen así, la política aprende a darle la razón a quien pregunta. Esta lección mira quién compara en los modelos de verdad, y con quién queda «alineado», por tanto, el modelo que aprende de sus comparaciones.

Hay una manera de llegar a la segunda respuesta sin nadie que compare: escribir una vez lo que se quiere, como una frase, y pedirle al propio modelo que critique su respuesta según ella y la reescriba. El principio y los textos de la tabla los he escrito yo para el curso:

De ahí sale un par para el ajuste supervisado, la instrucción con la revisión, y el precio se ha movido de sitio. La anotadora tenía que saber que era un mito; ahora tiene que saberlo el modelo, y alguien tuvo que escribir el principio.

Tres fuentes de comparaciones

Personas con una guía

Para InstructGPT, OpenAI contrató a unas 40 personas, elegidas con una prueba previa que medía si detectaban respuestas dañinas. Qué era «mejor» lo decía una guía de anotación (labeling guidelines) escrita por los investigadores. Pedía utilidad, veracidad e inocuidad, en distinto orden según el momento: al reunir las comparaciones, la utilidad iba primero; en la evaluación final, la veracidad y la inocuidad.

Así que $p_{\text{pref}}$ es la distribución de lo que escribieron esas personas siguiendo esa guía, y el $P(y_w \succ y_l \mid x)$ de Bradley–Terry, la probabilidad de que una de ellas prefiera $y_w$. La respuesta buena de la lección sobre predecir y obedecerBloque 2 · Lección 1Predecir no es obedecerPor qué un modelo entrenado a predecir texto no hace lo que se le pide. En el óptimo del preentrenamiento copia lo que su texto hace después de una instrucción, y obedecer es sólo una de esas cosas. La lección lo deriva, lo mide en el mini-GPT y separa lo que el prompt puede arreglar de lo que exige cambiar el texto con que se entrena. era otra cosa: la que elegiría quien escribió la instrucción. La anotadora elige para otro, con el criterio de la guía y con lo que ella sabe.

Un modelo con una constitución

En 2022, Anthropic quitó a las personas de una parte de la cadena. Su método, Constitutional AI, parte de una constitución: una lista de principios, frases como elige la respuesta más útil, honesta e inofensiva. Escribió dieciséis, y fueron toda la supervisión humana sobre qué es dañino. El método tiene dos fases, y cada una es una lección de este bloque con otra fuente de datos.

En la primera, un modelo entrenado sólo para ser útil contesta a instrucciones que buscan respuestas dañinas. Después, cuatro veces seguidas, se le pide la crítica de su última respuesta según un principio sacado al azar, y su revisión, la respuesta reescrita a la luz de la crítica, como en la tabla. Las revisiones finales son los pares de un ajuste supervisadoBloque 2 · Lección 3Ajuste supervisado: máxima verosimilitud sobre un formatoSeguir entrenando un modelo preentrenado sobre pares de instrucción y respuesta es la entropía cruzada de siempre, cobrada sólo en la respuesta: máxima verosimilitud sobre el conjunto de pares. La lección deriva su óptimo, que copia el conjunto, y su gradiente, que es el del preentrenamiento con las filas del prompt a cero. Después ajusta el mini-GPT con diez preguntas: aprende el formato, lee la pregunta, inventa el contenido y olvida su novela. sobre un modelo preentrenado.

En la segunda, la política escribe dos respuestas a cada instrucción, y un modelo las compara según un principio, como opciones (A) y (B). La probabilidad que pone en cada opción, normalizada, entra en $\mathcal{L}_{\text{R}}$ como la proporción de anotadores que habrían preferido cada respuesta: un $0.8$ cuenta como ocho de cada diez, y el óptimo pone el margen en $\ln 4$. Después, RLHF. Las comparaciones de utilidad siguieron siendo de personas; las de inocuidad, todas de un modelo. Es el aprendizaje por refuerzo con retroalimentación de inteligencia artificial (reinforcement learning from AI feedback, RLAIF).

Un modelo que juzga

Si un modelo puede comparar según un principio, ¿por qué no compara siempre él? Un modelo que hace de juez cuesta mucho menos que una persona, y compara bien: en un conjunto de preguntas abiertas, GPT-4 coincidió con las personas que juzgaron las mismas respuestas en el 85 % de las comparaciones sin empate, y esas personas, entre sí, en el 81 %.

Y tiene sesgos propios. Al cambiar de orden las dos respuestas, GPT-4 mantuvo su elección en el 65 % de los casos, y en el 30 % eligió la que iba primera, fuera cual fuera. Jueces más débiles preferían casi siempre la respuesta más larga, aunque lo añadido fueran repeticiones. Por eso un juez compara dos veces, con las respuestas en los dos órdenes. El bloque 3 vuelve a los jueces cuando haya que medir un modelo.

Un 60 % que se convierte en un 98 %

Las comparaciones se contradicen a veces, y no siempre por ruido: dos personas pueden querer cosas distintas. Sigamos en papel un desacuerdo a través del bloque, con dos fórmulas que ya tenemos.

Una instrucción, dos respuestas, y una referencia que escribe las dos por igual. El 60 % de los anotadores prefiere $y_A$, y el 40 %, $y_B$. Con una recompensa que puede valer cualquier cosa, el óptimo de $\mathcal{L}_{\text{R}}$ pone el margen en el logaritmo de esa ventaja:

La política óptima de esa recompensa es la $\pi^{\star}$ de la derivación de DPO, la referencia repesada por $e^{r/\beta}$. En el cociente entre las dos respuestas se van $Z(x)$, que es la misma para las dos, y la referencia, que las escribe por igual:

De cada 100 veces que la política escribe una de las dos, escribe $y_A$ estas:

Sólo con $\beta = 1$ reparte la política como los anotadores. Con las dos $\beta$ de la celda de DPO, la mayoría gana más de lo que ganó en los datos, y con $0.1$ el 40 % que prefería $y_B$ casi desaparece de lo que la política escribe. RLHF persigue el mismo óptimo.

Y hay algo que la recompensa no puede guardar. Bradley–Terry da un número por respuesta, así que un 60 % sale igual si todos los anotadores dudan y eligen $y_A$ seis veces de cada diez, que si son dos grupos que lo tienen claro y quieren cosas distintas. En el primer caso, escribir casi siempre $y_A$ es razonable. En el segundo, la política le da a cuatro de cada diez personas, casi siempre, la respuesta que no querían.

Qué quiere decir «alineado»

Un modelo está alineado con una fuente de comparaciones cuando escribe lo que esa fuente prefiere, y el alineamiento (alignment) es el trabajo de conseguirlo. La palabra lleva siempre un complemento. Los autores de InstructGPT dedicaron una sección a decir con quién alineaban: con sus anotadores, con quienes escribieron la guía y con los clientes cuyas instrucciones formaban los datos. No afirmaban que fuera la fuente correcta, y añadían que alinear con todos a la vez no es posible. La cuenta de arriba es una de las razones.

Tampoco quiere decir correcto. Sharma y sus coautores encontraron, en datos de preferencias reales, que una respuesta que da la razón a quien pregunta tiene más probabilidad de ser la preferida, y que optimizar contra un modelo de recompensa entrenado con ellos vuelve a veces al modelo menos veraz. Es la complacencia (sycophancy), y no es el reward hacking de la lección sobre RLHFBloque 2 · Lección 5RLHF: mejorar la recompensa sin alejarseCon un modelo de recompensa, la política se mejora maximizando la recompensa media de sus respuestas menos su divergencia KL respecto del modelo de partida. El gradiente de una media sobre respuestas sorteadas sale del truco de la derivada logarítmica (REINFORCE): un ajuste supervisado sobre las respuestas propias, pesadas por su recompensa. Sin la KL, el mini-GPT convierte una recompensa que cuenta letras en «a a a a».: allí la política explotaba los errores de la recompensa, y aquí la recompensa no se equivoca, reproduce bien a los anotadores. El término de la divergencia de Kullback–Leibler (KL) no frena nada, porque dar la razón no obliga a alejarse de la referencia.

Hay tareas, en cambio, en que no hace falta preguntarle a nadie, porque la respuesta se comprueba, como en las celdas de las dos lecciones anteriores, cuya recompensa contaba letras. Con un problema de matemáticas de solución conocida o un programa con sus pruebas, la recompensa es 1 si la comprobación pasa y 0 si no: aprendizaje por refuerzo con recompensas verificables (reinforcement learning with verifiable rewards, RLVR). Así enseñó DeepSeek a razonar a su modelo R1 en 2025, sin modelo de recompensa en esas tareas, porque a esa escala uno entrenado con preferencias se deja explotar. Su algoritmo, GRPO (group relative policy optimization), resta a cada recompensa la media de un grupo de respuestas a la misma instrucción, la línea base de la lección sobre RLHF, y premiar cada paso del razonamiento y no sólo el resultado es la variante siguiente. Ahí, alinearse con la fuente es acertar.

Comprueba tu intuición

Cuatro preguntas: la constitución, un juez en dos órdenes, con quién alinea un modelo y lo que una recompensa no guarda.

Las tres fuentes tienen un límite en común: enseñan lo que alguien sabe reconocer y la política sabe escribir, y nada más. Un juez que no sabe que la Muralla no se ve desde la Luna no premia la respuesta verdadera, y un modelo que no sabe escribirla no la aprende de ninguna comparación. El mini-GPT ha servido para ver cada método por dentro, con diez pares, una capa lineal y 512 números sumados a sus logits. No da para más: sólo ha leído una novela.

La lección siguiente, el proyecto del bloque, cambia de modelo. Ajusta un modelo abierto pequeño, uno de verdad, con instrucciones en español, en un cuaderno de Colab, porque eso ya no cabe en el navegador. Es el primer paso de la cadena, el ajuste supervisado, el que todos los demás dan por hecho.