El peligro de un RAG sobre normativa: respuestas seguras y equivocadas
Parte 7 de 1113 de octubre de 2026 · 1 min · David Silvente López
En normativa, una respuesta plausible y falsa es peor que «no lo sé». Mi prueba lo confirma.
Qué pasó
Con un modelo local pequeño y cinco configuraciones de contexto, en 2 de 16 preguntas el artículo correcto no llegó al contexto y las cinco configuraciones dieron una respuesta convincente y errónea. En las 80 respuestas, el modelo no se abstuvo ni una vez, y casi nunca citó la fuente en el formato pedido. Sin contexto, 15 de 16 respuestas eran incorrectas, con artículos de códigos que no existen.
Qué hace falta
- Umbral de confianza en la recuperación: si la puntuación del reranker no llega, responder «no hay información suficiente».
- Respuesta estructurada: suficiente sí/no, respuesta y fuentes, validada por código.
- Preguntas fuera de ámbito en el conjunto de prueba (preparé 16) para calibrar el umbral.
Siguiente parte: cómo calibrar el «no lo sé», ya medido.
Preguntas frecuentes
¿Por qué un RAG da respuestas seguras pero equivocadas?
Porque si el documento correcto no llega al contexto, el modelo responde igualmente algo plausible en vez de abstenerse.
¿Cuántas veces se abstuvo el modelo en la prueba sobre normativa?
Ninguna en 80 respuestas. En 2 de 16 preguntas el artículo correcto no llegó al contexto y las cinco configuraciones respondieron de forma convincente y errónea.
¿Qué pasa si un LLM pequeño responde sin contexto?
En la prueba, 15 de 16 respuestas fueron incorrectas, citando artículos de códigos que no existen.
¿Cómo evitar que un RAG invente respuestas?
Con un umbral de confianza en la recuperación, una respuesta estructurada (suficiente sí/no, respuesta y fuentes) validada por código, y preguntas fuera de ámbito en el conjunto de prueba para calibrar.
¿Tienes un RAG o un proyecto de IA con normativa o documentación?
Te ayudo a medirlo antes de gastar: preguntas de prueba, recuperación, abstención y coste.
Agenda tu diagnósticoSígueme en LinkedIn, donde comento cada artículo · Compartir: LinkedIn · X