Evaluar: pruebas exactas, jueces y sus trampas

La lección sobre la ventana de contextoBloque 3 · Lección 5La ventana de contexto es un recurso escasoTodo lo que un harness le da al modelo en una llamada tiene que caber en la ventana de contexto, y lo que cabe se paga: un token más en el prompt cuesta lo que el último de la llamada, así que el precio crece con todo lo demás. La lección convierte la ventana en un presupuesto, compara truncar, descartar y compactar cuando no cabe todo, escribe el contrato de un harness que elige qué entra y cita la medida de que al modelo no le da igual dónde va cada pasaje. dejó al harness con reglas que funcionan y sin forma de saber si otras funcionarían mejor salvo probarlas. El curso ya ha medido algo así una vez: el recuperador de TF-IDF (term frequency–inverse document frequency) de la lección sobre recuperaciónBloque 3 · Lección 4Embeddings y recuperación: darle al modelo lo que no sabeLo que el modelo no sabe se le puede dar a leer: un recuperador busca en un corpus los pasajes más cercanos a la pregunta y el harness los escribe en el prompt. La lección define esa cercanía con el coseno de dos vectores y mide dos maneras de hacerlos sobre Marianela: TF-IDF encuentra el pasaje cuando comparte palabras con la pregunta, y la media de los vectores del mini-GPT no lo encuentra nunca, por una razón que sale de la máscara causal y que delata el signo ¿. puso el primero el pasaje que respondía en seis de doce preguntas. ¿Es eso un 50 %? Con otras doce preguntas sobre la misma novela podía haber salido un 25 % o un 75 %, y aquella cuenta no decía nada de eso.

Evaluar un harness pide tres cosas: una lista de pruebas, cada una un caso con la respuesta que se espera; un evaluador, que dice si cada respuesta acierta; y un número, la fracción de aciertos. Las tres fallan a su manera. El número sale de unas pruebas y no de otras, y lleva un error que hay que escribir a su lado. El evaluador, cuando una respuesta admite muchas formas, suele ser otro modelo, con sus propios errores. Y las pruebas pueden estar en el texto con el que se entrenó el modelo. ¿Cuándo dice un número de una evaluación lo que parece decir?

Piensa en todas las preguntas que va a recibir tu asistente, las de hoy y las del mes que viene. Sobre todas ellas acierta una fracción que nadie conoce, y tus pruebas son unas pocas sacadas de ahí. Saca otras y el número cambia, igual que la pérdida de un batch cambiaba de uno a otro cuando entrenaste el mini-GPTBloque 1 · Lección 3Entrenar un mini-GPT en NumPyEl checkpoint del bloque es el resultado de 2 000 pasos de un bucle que esta lección escribe entero. Cada paso sigue la pérdida media de unas pocas ventanas del corpus sacadas al azar, y la lección deriva por qué eso apunta, de media, adonde apuntaría el corpus entero, y cuánto ruido cuesta ahorrarse el resto. El paso es AdamW, con una tasa de aprendizaje que se calienta y luego decae. Con todo ello el mini-GPT sigue entrenando en el navegador, sobre las últimas páginas de Marianela, que no había visto.. Con doce pruebas, cada una mueve el número más de ocho puntos; con cuatrocientas, un cuarto de punto. Lo que una evaluación puede dar no es esa fracción, sino un intervalo donde probablemente está, más estrecho cuantas más pruebas.

Si dos harness responden a las mismas pruebas, las fáciles las aciertan los dos y las imposibles las fallan los dos, y ninguna de ésas dice cuál es mejor. Y dar por buena o por mala La fecha es 2026-12-02. cuando se esperaba 2026-12-02 ya es decidir qué estás midiendo.

Un acierto es una media, y tiene su intervalo

Una prueba es un caso con su respuesta esperada. Un banco de pruebas (benchmark) es una lista de ellas, y un evaluador es la función que, dada la respuesta del harness a una prueba, dice si acierta: 1 o 0. Llamemos $n$ al número de pruebas del banco (no son los bytes del bloque 1, que esta lección no cuenta) y $\text{acierto}$ a la fracción que acierta, la tasa de acierto (accuracy) del curso anterior con su mismo símbolo. Y llamemos $\mu$ a la fracción que acertaría sobre todas las preguntas de las que salen las pruebas. Es la $P(\text{acierta})$ de la lección sobre recuperación, con una letra que no se confunda con $\text{acierto}$ en una misma fórmula.

Supongamos que las pruebas se sacan al azar de esas preguntas, cada una con independencia de las demás. Cada prueba aporta un 1 con probabilidad $\mu$; su media es $\mu$, y la de su cuadrado también, porque $1^{2} = 1$ y $0^{2} = 0$. Su varianza, la media de lo que se aleja de su media al cuadrado, es entonces $\mu - \mu^{2}$. Una media de $n$ variables independientes conserva la media y divide la varianza por $n$:

La desviación típica, la raíz de eso, cae como $1/\sqrt{n}$: para partir el error por la mitad hacen falta cuatro veces más pruebas. Con $n$ grande, el teorema central del límite dice que el $\text{acierto}$ se reparte como una normal alrededor de $\mu$, y una normal deja a menos de 1.96 desviaciones típicas de su media el 95 % de su masa:

Un intervalo de confianza al 95 % es una regla que, aplicada a cada banco que podrías haber sacado, da un intervalo que contiene a $\mu$ en el 95 % de ellos. La garantía es de la regla; de un intervalo concreto no se sabe si es uno de los buenos. Para escribir la regla hay que salir de la desigualdad, que habla de $\mu$, la fracción que no conoces. La salida más corta es poner el $\text{acierto}$ en su lugar dentro de la raíz y despejar:

Es el intervalo normal, el que dan casi todos los informes, y falla donde más se usa, con pocas pruebas o con un acierto cerca de 0 o de 1. Con doce de doce, la raíz vale 0 y el intervalo es el punto 1, como si doce aciertos demostraran que el harness no falla nunca. Con once de doce llega a 1.073, por encima de lo posible. Y aun dentro de $[0, 1]$, no cumple lo que promete: con $\mu = 0.9$ y doce pruebas, contiene a $\mu$ en el 71 % de los bancos, no en el 95 %.

Wilson, en 1927, no sustituyó nada. Buscó todos los $\mu$ que dejan el $\text{acierto}$ observado dentro de la desigualdad, que elevada al cuadrado es de segundo grado en $\mu$. Sus dos raíces son los extremos del intervalo:

Su centro no es el $\text{acierto}$: está desplazado hacia $1/2$, tanto más cuanto menos pruebas haya. Con doce de doce va de 0.757 a 1, y con seis de doce, de 0.254 a 0.746 (el 25 % y el 75 % del principio). Con $\mu = 0.9$ y doce pruebas contiene a $\mu$ el 97 % de las veces. Brown, Cai y DasGupta compararon los intervalos que se usan y recomiendan éste para $n$ pequeño.

¿Cuántas pruebas hacen falta? La raíz del intervalo normal es máxima en $\mu = 1/2$, donde vale $1.96\sqrt{1/(4n)} = 0.98/\sqrt{n}$. Para que la mitad del intervalo no pase de cinco puntos,

Para dos puntos son 2 401, y para uno, 9 604. Un banco de unas pocas centenas de preguntas no puede distinguir dos harness que se llevan un punto.

Dos harness, las mismas pruebas

Con dos harness, A y B, sobre el mismo banco, lo que importa es $\text{acierto}_A - \text{acierto}_B$, y tomar el error de cada uno por separado lo exagera. Llamemos $\text{sólo}_A$ a la fracción de pruebas que acierta A y falla B, y $\text{sólo}_B$ a la contraria. Una prueba que aciertan o fallan los dos suma lo mismo a los dos aciertos, así que se cancela:

Prueba a prueba, la diferencia vale 1, −1 o 0, y su cuadrado vale 1 en las pruebas que discrepan. Su varianza es entonces $\text{sólo}_A + \text{sólo}_B - (\text{sólo}_A - \text{sólo}_B)^{2}$, y la de la media de $n$ pruebas, eso dividido por $n$. Con las fracciones observadas dentro de la raíz, como en el intervalo normal (y con sus mismos fallos cuando hay pocas discrepancias), el intervalo de la diferencia es

Doscientas pruebas: A acierta 140 y B 128; A acierta 20 que B falla, y B 8 que A falla. La diferencia es 0.06, y su intervalo emparejado va de 0.009 a 0.111. A es mejor. Por separado, cada acierto tiene un intervalo de Wilson de unos trece puntos de ancho, y los dos se solapan; la diferencia calculada como si vinieran de bancos distintos va de −0.032 a 0.152, y el 0 queda dentro. La información estaba en las 28 pruebas que discrepan, y emparejar es no tirarla.

Todo esto supone pruebas independientes. Si varias preguntas salen de un mismo pasaje, no lo son, y el error real es mayor: Miller encontró bancos de comprensión lectora en los que el error, contado por pasaje, triplicaba el que se calcula prueba a prueba.

Qué cuenta como acierto, y quién lo cuenta

Hasta aquí el evaluador era una caja que devuelve 1 o 0. Cuando la respuesta tiene una sola forma correcta, la caja es código: una prueba exacta compara la respuesta con la esperada, carácter a carácter o después de normalizarla (quitar espacios, mayúsculas, el texto que rodea a lo que importa). Cuánto normalizar no es un detalle técnico. La especificación de las fechasBloque 3 · Lección 1El prompt es una especificaciónCon los pesos fijos, el prompt es el argumento de una función que no cambia: el prompt de sistema describe la tarea, los ejemplos la muestran y el caso es aquello a lo que se aplica. La lección deriva qué puede conseguir un prompt y qué no, por qué un programa que llama a un modelo comprueba cada respuesta, y presenta el modelo guionizado, sobre el que corre casi todo el bloque. prohibía cualquier texto alrededor de la fecha. Un evaluador que busca la fecha dentro de La fecha es 2026-12-02. y la da por buena mide si el modelo sabe la fecha, no si cumple la especificación. Las dos cosas pueden interesarte, pero son dos números, y la celda de abajo saca los dos de las mismas respuestas.

Muchas respuestas no tienen una sola forma. El hijo ciego de don Francisco Penáguilas y un joven ciego, hijo de don Francisco dicen lo mismo, y ningún código razonable lo ve. Ahí el evaluador suele ser un juez, el modelo que la lección sobre las preferenciasBloque 2 · Lección 7De dónde salen las preferencias: humanos, constituciones y modelosRLHF y DPO no juzgan sus comparaciones: las reproducen. Quién las escribe decide lo que la política prefiere, y hay tres fuentes: personas con una guía, un modelo que critica y revisa sus respuestas según una constitución, y un modelo que juzga. En papel, una mayoría del 60 % pasa a escribirse el 98 % de las veces con β = 0.1. «Alineado» quiere decir alineado con alguien, y no quiere decir correcto. ponía a comparar respuestas, ahora con la pregunta, la respuesta esperada y la del harness delante, contestando si dicen lo mismo. Aquella lección citó que un juez grande coincide con las personas casi tanto como ellas entre sí, y que se deja llevar por el orden y por la longitud. Un juez es otra llamada a modelo, con su prompt y su comprobación, y su veredicto es una respuesta como cualquier otra.

A un juez se le mide antes de creerle. Etiquetas a mano unas decenas de respuestas y cuentas en cuántas coincide contigo; esa fracción es el $\text{acuerdo}$. Engaña cuando casi todas las respuestas aciertan: un juez que dice siempre «acierta» coincide en un 90 % con unas etiquetas que aciertan en un 90 %, y no ha mirado nada. La kappa de Cohen descuenta lo que coincidirían el juez y tus etiquetas si no tuvieran nada que ver, cada uno con su propia frecuencia de aciertos: $\text{acuerdo}_{\text{azar}} = \text{acierto}_{\text{juez}}\,\text{acierto}_{\text{mano}} + (1 - \text{acierto}_{\text{juez}})(1 - \text{acierto}_{\text{mano}})$, y

Vale 1 si coinciden siempre y 0 si coinciden lo que coincidirían sin mirarse. Esta $\kappa$ no es la línea base de la lección sobre el aprendizaje por refuerzo con retroalimentación humana (reinforcement learning from human feedback, RLHF)Bloque 2 · Lección 5RLHF: mejorar la recompensa sin alejarseCon un modelo de recompensa, la política se mejora maximizando la recompensa media de sus respuestas menos su divergencia KL respecto del modelo de partida. El gradiente de una media sobre respuestas sorteadas sale del truco de la derivada logarítmica (REINFORCE): un ajuste supervisado sobre las respuestas propias, pesadas por su recompensa. Sin la KL, el mini-GPT convierte una recompensa que cuenta letras en «a a a a».; es la letra de Cohen, con la que la vas a encontrar. Thakur y sus coautores midieron trece jueces contra etiquetas humanas: jueces con un acuerdo alto daban puntuaciones muy distintas, y el fallo más común era la indulgencia, dar por buena una respuesta que no lo es.

La trampa más cara no está en el juez, sino en lo que haces con él. Cada cambio del harness que conservas porque el juez lo puntúa mejor es un paso de optimización contra el juez, y lo que el juez premia sin que sea mejor (la longitud, un tono seguro) es lo primero que crece. Es el reward hacking del RLHF, con el harness en el lugar de la política y tú en el del optimizador. Lo que no se mueve con el optimizador son tus etiquetas: cuando el número del juez sube, etiqueta a mano otra muestra.

Las pruebas que el modelo ya ha leído

Un banco público tiene un problema que ningún intervalo arregla: está en internet, y el texto con el que se entrena un modelo grande sale en buena parte de internet. Si las pruebas o sus soluciones estaban en ese texto, el acierto mide memoria. Es la contaminación (contamination), y es la razón por la que la lección sobre la perplejidadBloque 1 · Lección 6Perplejidad: medir un modelo de lenguajeUn modelo que sólo cuenta bytes paga, sobre las páginas de Marianela que el mini-GPT no vio, la misma pérdida por token que el mini-GPT. La lección explica por qué eso no dice nada: convierte la pérdida en perplejidad, el número de candidatas entre las que duda el modelo, y en bits por byte, la medida que no depende del tokenizador; le pone al lado dos varas de medir, el modelo uniforme y el de unigramas; y demuestra por qué la pérdida sobre el texto de entrenamiento engaña y la del texto reservado no. midió la pérdida en el texto reservado y no en el de entrenamiento. Zhang y sus coautores escribieron 1 205 problemas nuevos de aritmética escolar, con el estilo y la dificultad de Grade School Math 8K (GSM8K), un banco público muy usado, y compararon. Algunos modelos abiertos acertaron hasta 8 puntos menos en los nuevos, y los más capaces, casi lo mismo. Los nuevos no los publicaron, para que no les pasara lo mismo.

Para tu harness la consecuencia es práctica. El banco que más te dice es uno tuyo, hecho con preguntas como las que recibe y que no esté publicado en ningún sitio. Es, además, el único cuyas pruebas salen de las preguntas de las que $\mu$ habla.

Un banco de pruebas sobre el modelo guionizado

Las dos celdas corren sobre el modelo guionizado de la lección sobre la especificación, cargado con una línea. Todo lo que responde, como asistente y como juez, lo he escrito yo, así que los números de esta sección no dicen nada de ningún modelo: miden tu código de evaluar, que se lleva tal cual a un modelo de verdad. La primera celda vuelve a las fechas, con cuarenta pruebas exactas y dos evaluadores, y calcula la cobertura de los dos intervalos sin sortear nada, sumando sobre los resultados posibles.

Con el evaluador exacto, el modelo acierta 33 de 40: 0.825, entre 0.680 y 0.913 según Wilson. El que busca la fecha dentro de la respuesta da 36 de 40, porque cuenta las tres respuestas que llevan La fecha es delante. Son las mismas respuestas y dos números, y la diferencia es toda del evaluador. Las coberturas son las del apartado anterior, ahora con un decimal (71.3 % y 97.4 % con doce pruebas), y con cuarenta la distancia se acorta, 91.4 % y 94.3 %, pero el normal sigue por debajo de lo que promete.

Cámbialo tú: estropea en ESCRITAS otra respuesta de una manera nueva y decide antes de ejecutar si normalizada debería darla por buena.

La segunda celda es un juez. Son doce preguntas sobre Marianela, con la respuesta que he escrito para el asistente y mi etiqueta; el juez es otro modelo guionizado, con su prompt de sistema, y su veredicto pasa una comprobación antes de contar. Sus veredictos también los he escrito yo, y se equivoca dos veces de la manera que más se ha medido, por indulgente: da por buenas dos respuestas largas que fallan.

Juez y etiquetas coinciden en diez de doce, un 83.3 %, y la kappa es 0.571: con estas frecuencias, el azar ya daría un 61.1 %. Pero lo que mueve el número es hacia dónde caen los dos errores. Según el juez, el asistente acierta el 83.3 %; según las etiquetas, el 66.7 %. Dos errores hacia el mismo lado no se cancelan, se suman al acierto. Y con doce respuestas la kappa misma es poco más que un ejemplo: las decenas de etiquetas de arriba son el mínimo para creérsela.

Comprueba tu intuición

Cuatro preguntas: cuántas pruebas hacen falta, doce de doce, un juez que casi siempre coincide y un número que sube. Después, la comparación emparejada.

El bloque tiene ya todas sus piezas. Una especificación escrita dos veces, en el prompt y en una comprobación; una forma que la máscara garantiza; los pasajes que trae el recuperador; una ventana que el harness reparte; y una manera de saber si todo eso junto acierta, con un intervalo que dice cuánto creerse el número. Cada lección ha probado la suya en su propia celda, por separado.

La lección siguiente, el proyecto del bloque, las monta en un solo asistente sobre Marianela, que recupera, responde en un formato que el harness comprueba y se mide sobre un banco de pruebas. Corre sobre el modelo guionizado, y por eso un desafío puede comprobar tu código entero.