Un asistente que responde a todo puede inventar condiciones. Uno que rechaza todo evita ese problema a costa de dejar de ser útil. Para evaluar cuándo debe abstenerse, un sistema de generación aumentada con recuperación, o RAG, necesita preguntas contestables y preguntas cuya respuesta no está en los documentos que puede utilizar.
Esta guía propone un procedimiento para equipos que ya tienen buscador, documentos y generación de respuestas. Continúa la separación entre recuperación, fidelidad y utilidad con etiquetas y métricas concretas. Es una propuesta de evaluación, no una integración desplegada ni una prueba de calidad de un modelo. Documentación consultada el 20 de octubre de 2026.
1. Definir qué significa «hay respuesta»
Congela una versión del conjunto documental, su vigencia y los permisos del usuario de prueba. Para cada pregunta guarda identificador, versión, pasajes que respaldan la respuesta y una referencia revisada por una persona conocedora del contenido.
Usa tres clases: respuesta disponible, información ausente y pregunta que necesita aclaración. Por ejemplo, en un manual ficticio del producto A que permite devolverlo durante 30 días:
- «¿Cuánto dura el plazo del producto A?» tiene respuesta y un pasaje de referencia.
- «¿Cuánto dura el plazo del producto B?» carece de respuesta si el conjunto no incluye sus condiciones. El dato de A es un distractor plausible.
- «¿Puedo devolverlo?» requiere aclarar producto y circunstancias; no basta con tratarlo como un dato ausente.
No son pruebas ejecutadas. Sirven para diseñar casos negativos cercanos a los positivos. El trabajo Know What You Don’t Know, de SQuAD, ya estudió preguntas sin respuesta que se parecen a las contestables. Es un antecedente de 2018; no valida por sí mismo una aplicación empresarial actual.
Revisar una ausencia exige conocer el corpus: que una búsqueda no encuentre algo no demuestra que no exista. Incluye errores de permisos y documentos retirados o sustituidos como segmentos propios, sin exponer material al que el usuario no tenga acceso.
2. Separar ausencia documental y fallo del buscador
Si la respuesta existe pero el buscador no entrega su pasaje, el contexto de generación es insuficiente. Abstenerse puede ser la salida adecuada con ese contexto, aunque el sistema completo haya fallado al recuperar la información.
Registra ambas cosas: fallo de recuperación y abstención ante una pregunta contestable en el corpus autorizado. Así evitas «arreglar» el promedio permitiendo que el modelo adivine con conocimiento externo, o culpando al generador de un pasaje que nunca recibió.
Para cada ejecución conserva versión del corpus, modelo, instrucciones, configuración del buscador, identificadores recuperados, decisión de responder, abstenerse o pedir aclaración, texto final y citas. Una revisión independiente debe comprobar si cada afirmación está respaldada; tener un enlace no basta.
El tutorial de evaluación RAG de LangSmith distingue corrección frente a una referencia, fidelidad al contexto, relevancia de la respuesta y relevancia de la recuperación. Esa distinción ayuda a diagnosticar fallos. No obliga a usar su plataforma ni convierte el juicio automático de otro modelo en verdad de referencia.
3. Medir dos errores por separado
Para el subconjunto binario, apartando las preguntas ambiguas, propongo estas métricas:
- Respuesta sin evidencia disponible: respuestas emitidas en casos etiquetados como ausentes, divididas entre todos los casos ausentes.
- Falsa abstención del sistema completo: abstenciones en casos contestables, divididas entre todos los contestables.
- Cobertura: preguntas respondidas divididas entre todas las preguntas del subconjunto.
La primera mide incumplimiento de la política de responder con documentación disponible, aunque el dato pudiera ser cierto fuera de ella. Ninguna de estas tasas demuestra que las respuestas emitidas sean correctas. Para medir ese error hace falta revisar su contenido y soporte, también en las preguntas contestables.
Una caída de cobertura puede mejorar la primera tasa simplemente rechazando más. Examina las dos tasas juntas, sus recuentos y los segmentos de preguntas; informa por separado las aclaraciones y los errores de ejecución.
4. Un cálculo mínimo reproducible
Este código de Python usa seis decisiones inventadas: tres preguntas contestables y tres ausentes. Solo comprobamos localmente el cálculo con Python 3.13.7. No ejecuta un recuperador ni un modelo y sus porcentajes no miden ningún RAG. True significa que la referencia sí contiene respuesta.
casos = [(True, "answer"), (True, "answer"),
(True, "abstain"), (False, "answer"),
(False, "abstain"), (False, "abstain")]
def ratio(n, d):
return n / d if d else None
positivos = sum(ok for ok, _ in casos)
negativos = len(casos) - positivos
cobertura = ratio(
sum(d == "answer" for _, d in casos), len(casos))
sin_evidencia = ratio(
sum(not ok and d == "answer" for ok, d in casos),
negativos)
falsa_abstencion = ratio(
sum(ok and d == "abstain" for ok, d in casos),
positivos)
print(cobertura, sin_evidencia, falsa_abstencion)
La cobertura resulta 3/6 = 50%; hay una respuesta sin evidencia entre tres casos ausentes y una abstención entre tres contestables: ambas tasas son 1/3, aproximadamente 33,3%. Si un denominador vale cero, None significa «no evaluable», no cero errores. La misma función se comprobó también con ese denominador vacío.
5. Decidir qué cambio aceptar
Separa los casos usados para ajustar instrucciones o umbrales de un conjunto de prueba reservado. Para comparar versiones utiliza los mismos casos y registra cualquier cambio de corpus. Revisa manualmente los desacuerdos antes de cambiar etiquetas.
Un umbral de similitud del buscador no es una probabilidad universal de que exista respuesta. Tampoco «estoy seguro» constituye una confianza calibrada. Ajusta la política con ejemplos revisados y con el coste concreto de contestar mal frente al de escalar una consulta.
Define criterios de aceptación antes de mirar el resultado y conserva los fallos como regresiones. Este procedimiento ayuda a observar dónde responde sin soporte y dónde se frena demasiado; una muestra pequeña o un buen promedio no garantizan ausencia de invenciones en producción.