Embeddings y recuperación: darle al modelo lo que no sabe

Tres lecciones han cambiado cómo responde un modelo de pesos fijos sin tocar lo que sabe. La especificaciónBloque 3 · Lección 1El prompt es una especificaciónCon los pesos fijos, el prompt es el argumento de una función que no cambia: el prompt de sistema describe la tarea, los ejemplos la muestran y el caso es aquello a lo que se aplica. La lección deriva qué puede conseguir un prompt y qué no, por qué un programa que llama a un modelo comprueba cada respuesta, y presenta el modelo guionizado, sobre el que corre casi todo el bloque. le quitó las lecturas que no querías, la cadena de pensamientoBloque 3 · Lección 2Cadena de pensamiento: más tokens, más cómputoCada token recibe una pasada por las mismas capas, sea fácil o difícil. La lección demuestra que una cadena de pensamiento multiplica la profundidad de lo que la red puede calcular antes de responder, cuenta lo que cuesta, mide en el mini-GPT que escribir un token sale mucho más caro que leerlo, y cita lo que se sabe de cuánto ayuda, que sólo se ve en modelos grandes. le dio pasadas para decidir y la generación restringidaBloque 3 · Lección 3Salida estructurada: generación restringidaUn harness que sortea los tokens puede imponer la forma de la respuesta: en cada posición, pone a menos infinito los logits de lo que la rompería. La lección demuestra que eso garantiza un JSON válido incluso del mini-GPT, que nunca ha visto una llave, y mide lo que cuesta: lo que sortea la máscara no es lo que el modelo diría si sólo pudiera dar respuestas válidas. le impuso la forma. Lo que sabe es lo que el entrenamiento dejó en $\theta$, y eso tiene fecha y límites: el contrato que firmaste ayer, o el manual interno de tu empresa, no estaban en ningún texto que leyera. Pero hay una puerta por la que entra texto nuevo en cada llamada: el prompt. Un modelo que sabe leer puede contestar con lo que lee ahí.

Construir alrededor de esa puerta se llama generación aumentada por recuperación (retrieval-augmented generation, RAG), y lo difícil no es escribir en el prompt, sino elegir qué. Un corpus de verdad tiene miles de pasajes, la ventana de contexto admite unos pocos, y darle cada uno al modelo para que juzgue si sirve costaría una llamada por pasaje. El harness tiene que decidir sin el modelo, con algo barato, qué pasaje responde a qué pregunta. El curso anterior dejó un instrumento para eso, un vector por texto y el coseno entre dos; falta saber de dónde sale el vector.

Sigue al harness paso a paso. Antes de que llegue ninguna pregunta, parte el corpus en pasajes, calcula el vector de cada uno y lo guarda. Cuando llega una, calcula el suyo, lo compara con todos los guardados y se queda con los pocos más cercanos, que van al prompt. Del resto del corpus, el modelo no sabe nada.

Lo delicado es qué quiere decir «cercano». Toma la pregunta ¿Qué edad tiene la Nela? y dos frases seguidas del tercer capítulo de Marianela. En la primera, Golfín le pregunta a la Nela qué edad tiene; en la segunda, ella contesta: Dicen que tengo diez y seis años. La primera se parece mucho más a tu pregunta, porque es la misma pregunta. La que la responde es la segunda, y de tu pregunta sólo repite el nombre. Parecerse y responder son cosas distintas, y un vector sólo mide lo primero.

Recuperar es quedarse con los pasajes más cercanos

Partamos el corpus en pasajes, trozos que el harness copia enteros en el prompt (en las celdas, una frase de la novela cada uno), y supongamos una función que le da un vector a cualquier texto. A ese vector lo llamaremos el embedding del texto: el del curso anterior era una fila de la tabla, uno por entrada del vocabulario, y éste es uno por texto entero. Sea $\mathbf{d}_i$ el del pasaje $i$ y $\mathbf{q}$ el de la pregunta. Esta $\mathbf{q}$ no es la consulta de una cabeza de atención ni la distribución del muestreo, que no salen en esta lección.

Compararemos dos vectores con la similitud coseno de la lección sobre TF-IDF del curso anteriorDeep Learning para NLP: del Perceptrón al TransformerBloque 1 · Lección 5Bolsa de palabras y TF-IDFSumar los vectores one-hot de un documento da un vector de conteos donde mandan las palabras vacías. Pesar cada coordenada por lo rara que es la entrada en el resto del corpus arregla eso, y el logaritmo que lo hace no es un truco: sale de medir información.,

que no cambia al multiplicar un vector por un número positivo: compara direcciones, no longitudes. La recuperación de $k$ pasajes los ordena por $\cos(\mathbf{q}, \mathbf{d}_i)$, de mayor a menor, y se queda con los $k$ primeros. Es el corte de top-k de la lección sobre el muestreoBloque 1 · Lección 4Muestreo: temperatura, top-k y top-pUna distribución no es un texto: para escribir hay que quedarse con un token en cada posición. La lección deriva la familia entera de reglas a partir de un solo mando, la temperatura, cuyos dos extremos son la favorita de siempre y el sorteo uniforme; demuestra por qué la generación voraz acaba en un ciclo del que no sale y por qué sortear sin más acaba sacando tokens de la cola; y presenta top-k y top-p como dos maneras de cortar esa cola antes de sortear. Todo medido sobre el mini-GPT. sobre otra lista, pasajes por coseno en lugar de entradas por probabilidad, y por eso la letra es la misma.

Como pieza del harness, el recuperador promete poco. Calcula los $\mathbf{d}_i$ una vez por corpus, y una pregunta le cuesta un vector y un producto escalar por pasaje, sin llamar al modelo. Devuelve $k$ pasajes, ordenados. Y devuelve $k$ aunque ninguno responda: el corte no tiene forma de decir que no hay nada, y lo que traiga irá al prompt igual. El desafío del final le da esa forma.

Qué significa «cerca» depende de quién hizo el vector

Sin entrenar nada, hay dos sitios de donde sacar los vectores. El primero es TF-IDF (term frequency–inverse document frequency), de la misma lección que el coseno: una coordenada por palabra del corpus, que vale cuántas veces sale la palabra en el texto por el logaritmo de lo rara que es entre los pasajes. Dos textos quedan cerca cuando comparten palabras raras, y sólo entonces: edad y años son dos coordenadas distintas, tan lejos una de otra como dos palabras cualesquiera, igual que en la codificación one-hotDeep Learning para NLP: del Perceptrón al TransformerBloque 1 · Lección 4One-hot encoding y la maldición de la dimensionalidadUn eje por entrada del vocabulario es la representación que no afirma nada sobre las palabras. Cumple todo lo que se le pidió, y por eso mismo no deja aprender nada. de la que sale.

El segundo es el propio mini-GPT. En cada posición, su última capa deja un vector de 64 números, el $\mathbf{h}$ que la tabla multiplica para dar los logits; nombrado por lo que leyó, $\mathbf{h}(x_{\le t})$ es el de la posición que ha leído los $t$ primeros tokens de un texto $x_{1:T}$. Es la representación contextual de la lección sobre BERT y GPTDeep Learning para NLP: del Perceptrón al TransformerBloque 5 · Lección 10BERT y GPT: una columna cada unoEl modelo de la lección anterior sabe correr y para aprender pide lo más caro que hay: pares de frases con su traducción, escritos uno a uno a mano. Texto suelto, en cambio, sobra. Las dos familias que salieron del artículo en 2018 contestan a esa escasez quitando una columna, moviendo la máscara y cambiando qué se les pide predecir, y ninguna de las tres cosas es una operación nueva. Por el camino pagan una deuda del bloque 1: la firma de la representación deja de recibir una entrada del vocabulario y pasa a recibir la frase, que es lo único que puede darle a banco dos vectores. La celda lo mide en la misma posición de dos frases, y de los tres números que imprime, dos valen 1 por construcción., en un modelo causal. Su media sobre las $T$ posiciones,

es un embedding que sale gratis de un modelo ya entrenado, la misma lectura de un texto entero que hacía el modelo de recompensaBloque 2 · Lección 4Preferencias y el modelo de recompensaUna nota se lee en la escala de quien la pone; una comparación entre dos respuestas, no. El modelo de Bradley–Terry convierte comparaciones en un número por respuesta: el anotador prefiere una con la sigmoide de la diferencia de recompensas, que queda definida salvo una constante por instrucción. Un modelo de recompensa se entrena con la entropía cruzada binaria de esas comparaciones. La lección lo monta sobre el mini-GPT congelado, que ordena bien lo que vio y adivina en lo que no conoce. con una respuesta.

La media de un modelo causal oye más el principio que el final

Esa media hereda una asimetría de la máscara causal. El vector $\mathbf{h}(x_{\le t})$ depende de $x_1, \dots, x_t$ y de nada más, así que el token $x_j$ entra en los sumandos con $t \ge j$, que son $T - j + 1$ de los $T$. El primer token entra en todos; el último, en uno. En español eso tiene una consecuencia que la segunda celda mide, porque una pregunta empieza por un signo: en una de doce tokens, la media oye el ¿ doce veces y el ? una.

Un modelo bidireccional no tiene esa asimetría: con la tercera firma de aquella lección, el vector de cada posición ha leído la frase entera, y cada token entra en todos los sumandos. Por eso los primeros recuperadores entrenados eran encoders bidireccionales como BERT (Bidirectional Encoder Representations from Transformers), y quien saca embeddings de un modelo causal pondera más las últimas posiciones, las únicas que han leído el texto entero.

Un vector entrenado para que cerca sea responder

Nadie entrenó ninguno de los dos para recuperar. Un recuperador entrenado aprende sus vectores de pares de pregunta y pasaje que la responde, para acercar cada par. Con un batch de $B$ pares, numerando los pasajes de modo que $\mathbf{d}_1$ sea el de la pregunta $\mathbf{q}$, la pérdida de esa pregunta es

la entropía cruzada de siempre, con los pasajes del batch como vocabulario, los cosenos como logits y $\tau$ como la temperatura del muestreo. Los otros $B - 1$ pasajes, que responden a otras preguntas, hacen de pasajes equivocados sin que nadie los escriba. Con esa pérdida, «cerca» significa «responde» por construcción, y una pregunta con edad acaba cerca de un pasaje con años si el entrenamiento los ha visto emparejados. Karpukhin y sus coautores entrenaron así, con el producto escalar en lugar del coseno, un recuperador que trae el pasaje entre los veinte primeros de 9 a 19 puntos más a menudo que BM25 (Best Matching 25), la variante de TF-IDF de los buscadores. Ésa es la versión de producción; aquí mides los dos que tienes.

Lo que el modelo lee y lo que sabe

Con un recuperador delante, una respuesta sale de uno de dos sitios. Si el pasaje que responde está entre los $k$, el modelo puede leerlo; si no, le queda lo que sabe, más $k$ pasajes que hablan de otra cosa. Llamemos recuperada a una pregunta del primer tipo, y escribamos $P(\cdot)$ para la proporción, entre las preguntas que recibe el harness, de las que cumplen algo, con el sorteo del modelo dentro. La probabilidad total separa los dos casos:

Cada factor es de alguien. $P(\text{recuperada})$ es del recuperador, y la mides sin llamar al modelo, con preguntas cuyo pasaje conoces: es lo que hace la segunda celda. $P(\text{acierta} \mid \text{recuperada})$ es lo bien que lee el modelo, y $P(\text{acierta} \mid \text{no recuperada})$, lo que sabe; ahí recuperar no suma, y puede restar si el modelo se fía de pasajes que hablan de otra cosa. Lo que la recuperación aporta va multiplicado por $P(\text{recuperada})$: un recuperador que no trae el pasaje deja al modelo con lo que sabía, lea lo bien que lea.

Lo leído y lo sabido difieren en más cosas. Lo leído lo cambias editando el corpus, sin tocar $\theta$, y el harness sabe qué pasajes puso, así que puede citarlos; pero cada pasaje lo pagas en tokens en cada llamada, al precio de la lección sobre la cachéBloque 1 · Lección 5La caché de claves y valores: cuánto cuesta cada tokenPara escribir cada token, el mini-GPT volvía a pasar el texto entero por la red. La lección demuestra que las claves y los valores de las posiciones ya leídas no cambian, los guarda en una caché y cuenta lo que cuesta cada token con ella y sin ella: sin ella, exactamente t veces más; con ella, una memoria que crece con el texto y que en un modelo grande llega a ocupar más que sus pesos. Todo medido sobre el mini-GPT, y contra el reloj.. Lo sabido no cuesta nada por llamada, pero cambiarlo es entrenar, y nadie puede señalar de qué texto salió. Y un pasaje no es verdad por estar en el prompt: el modelo lee lo que el harness le da.

TF-IDF y el mini-GPT, sobre la novela

Las celdas corren sobre tu mini-GPT del bloque 1, pero no le piden que escriba nada: usan su tokenizador y los vectores de su última capa. Responder, con pasaje o sin él, no sabría. Los pasajes son las frases de los tres primeros capítulos de Marianela que tienen al menos seis palabras y caben en su ventana de 64 tokens. La primera celda construye los dos recuperadores y les hace la misma pregunta dos veces, con dos palabras distintas.

Con años, TF-IDF trae primero el pasaje que responde. Con edad, trae una frase que sólo comparte tiene y qué con la pregunta y, detrás, la de Golfín, que se le parece y no la responde. El mini-GPT trae preguntas las dos veces, y ninguna habla de la edad.

Dos preguntas no son una medida. La segunda celda hace doce, cada una con un trozo del pasaje que la responde, y apunta en qué puesto llega ese pasaje con cada recuperador. Después le quita a cada pregunta el ¿ o el ?, para ver qué oye el mini-GPT, y mide cuánto ocupan los pasajes.

TF-IDF trae el pasaje el primero en seis de las doce y entre los tres primeros en nueve. Falla en tres, por dos motivos: edad frente a años, y dos pasajes que sólo responden leídos con la pregunta que los precede en la novela (Con el señor Centeno, capataz de ganado en las minas. no dice quién vive con él). El mini-GPT no trae ninguno entre los veinte primeros, y el pasaje de la edad lo deja entre los cuatro últimos de 288 para las dos preguntas. Cuánto vale un número sacado de doce casos lo trata más adelante la lección sobre evaluarMás adelante · Bloque 3 · Lección 6Evaluar: pruebas exactas, jueces y sus trampasUna tasa de acierto sale de unas pocas pruebas, y sin su intervalo no dice cuánto se movería con otras. La lección deriva el intervalo de Wilson y enseña dónde falla el normal, compara dos harness sobre las mismas pruebas contando sólo aquéllas en que discrepan, mide a un juez con la kappa de Cohen y explica por qué un banco público puede estar midiendo memoria..

Las tres líneas siguientes dicen por qué. Sólo 20 de los 288 pasajes son preguntas, y con las doce tal cual, 100 de los 120 vecinos que trae el mini-GPT lo son. Sin el ? del final quedan 97; sin el ¿ del principio, 10, más o menos lo que daría el azar. Es la cuenta de la máscara causal: el ¿ entra en todos los sumandos de la media, el ? en uno. El vector del mini-GPT dice antes que nada que el texto es una pregunta, y el coseno lo oye. Nadie lo entrenó para otra cosa: su pérdida le pidió el token siguiente, y para eso saber que está dentro de una pregunta sirve mucho. En esta novela, y con lo que cabe en el navegador, el recuperador honrado es TF-IDF; el de producción es un modelo entrenado con la pérdida de arriba.

La última línea es el precio. Un pasaje ocupa 32.8 tokens de media, así que tres, 98, no caben en la ventana del mini-GPT ni sin la pregunta. Con una ventana de miles de tokens sí caben, pero los pagas en cada llamada.

Comprueba tu intuición

Cuatro preguntas: los dos sitios de los que sale una respuesta, el signo ¿, los fallos de TF-IDF y una edición nueva de la novela. Después, un recuperador que sabe no traer nada.

Recuperar decide qué lee el modelo, y en el mejor caso le trae lo que no sabía. Pero cada pasaje que trae ocupa un sitio que también quieren el prompt de sistema, los ejemplos, la conversación y la respuesta que queda por escribir, y la ventana no crece porque haga falta. Meter más tampoco sale gratis, porque cada token que entra encarece todos los que el modelo escribe detrás.

La lección siguiente, sobre la ventana de contexto, la trata como un presupuesto: cuánto cuesta cada token según cuántos tiene delante, qué hacer cuando no cabe todo y si al modelo le da igual el sitio que ocupa cada pasaje.