Cómo calibrar el «no lo sé» de un RAG: lo que medí

En mi primera prueba, un modelo pequeño no se abstuvo ni una vez en 80 respuestas. La solución es un umbral: si la recuperación no es lo bastante buena, responder «no hay información suficiente». Lo difícil es fijarlo, y esto es lo que medí.

Lo que dice la investigación

• Un estudio con modelos pequeños congelados muestra el precio de endurecer el umbral: la alucinación bajó del 41,6 % a cerca del 13 %, pero la tasa de respuestas cayó del 79,3 % a cerca del 33 %.
• Los umbrales no se transportan: según un trabajo sobre guardarraíles conformales, un mismo 0,5 puede dar recalls muy distintos en dos conjuntos de datos. Hay que calibrar con tus datos.
• RAG no elimina las alucinaciones: una auditoría de Stanford sobre herramientas jurídicas con RAG encontró tasas apreciables incluso en productos presentados como «sin alucinaciones».

Mi medición

Confianza = la mayor puntuación del reranker bge-reranker-v2-m3 sobre los 12 candidatos del híbrido. La comparé en 93 preguntas respondibles con las normas y en 16 que no se pueden responder con ellas (IRPF, delito de estafa, capital de Francia…).

• Respondibles: mediana 1,95. Fuera de ámbito: mediana −5,88 y máximo −0,77.
• AUC: 0,97, es decir, la puntuación separa muy bien los dos grupos.
• Umbral −0,77: rechaza por error el 18 % de las respondibles y no deja pasar ninguna de las 16 fuera de ámbito. Con 0,23, rechaza el 29 % y tampoco deja pasar ninguna.

El truco: combinar dos puertas

Con tres modelos locales de 4 a 9B y salida JSON (campo suficiente), exigir las dos cosas, umbral del reranker y suficiente=true del modelo, dio 13 respuestas de 16 dentro de ámbito y 0 de 16 fuera, con cualquiera de los tres.

Por qué es optimista

El umbral se eligió con los mismos datos que lo evalúan, y 16 preguntas fuera de ámbito son pocas y, en su mayoría, claramente ajenas. Antes de usarlo habría que validarlo con preguntas nuevas, incluidas las «casi» dentro de ámbito.

Y conviene medir por separado «se abstuvo», «respondió mal» y «respondió bien pero sin citar»: mezclarlos hace que un sistema prudente parezca peor de lo que es.