Cómo evaluar respuestas RAG fundamentadas con una hoja de evidencia

Por Michael Shamanoff, fundador de Achla AI Última revisión: 1 de agosto de 2026

Una lista de fundamentación para evaluar RAG solo es útil si deja un registro inspeccionable. Para cada respuesta de prueba, divide las afirmaciones materiales, conecta cada una con un pasaje fuente exacto y escribe un veredicto acotado con su motivo. Guarda después la consulta, los pasajes recuperados, la respuesta, las citas, las versiones de las fuentes y la versión del sistema para poder repetir el mismo caso. El resultado no es una puntuación de precisión ni una promesa de verdad. Es una hoja de evidencia por afirmación que muestra qué respalda la evidencia visible, cuándo una cita solo está adjunta y cuándo el sistema debería registrar una ausencia honesta.

Este artículo presenta el protocolo de registro y repetición. No sustituye la explicación más amplia de búsqueda con IA fundamentada, citas y abstención. Su labor más estrecha es hacer auditable una respuesta de prueba sin inventar un índice comparativo ni ocultar el juicio dentro de una tasa de éxito.

Quién creó el protocolo, cómo se preparó y por qué

Michael Shamanoff, fundador de Achla AI, es el autor. El protocolo se preparó a partir del brief editorial aprobado, el artefacto actual del producto y documentación oficial de Microsoft, Ragas y AWS. La demanda del tema sigue siendo una hipótesis experimental porque no había datos de GSC, Keyword Planner, volúmenes con licencia ni evidencia estable de autocompletado.

El método convierte una respuesta en pequeñas decisiones sobre evidencia que pueden reproducirse. En esta evaluación, una fuente enlazada puede ser pertinente al tema y aun así no respaldar la frase contigua. El propósito es acotado: diagnosticar problemas visibles de recuperación y respaldo en un caso fijo. Para una definición breve antes de usar la hoja, consulta el glosario de búsqueda con IA.

Empieza con un conjunto fijo de evidencia

No empieces asignando una puntuación. Congela primero el caso. Un conjunto de pruebas RAG debe registrar la consulta exacta, versión de la colección, pasajes recuperados en el orden devuelto, respuesta generada y citas mostradas al usuario. Indica además el estado de evidencia esperado: qué pasajes necesitaría una respuesta cuidadosa y qué punto solicitado no puede responder la colección.

Este es el conjunto sintético usado en el artículo. Describe una tienda imaginaria; no es un resultado de Achla AI ni de un cliente.

Consulta Q-017: «¿Puedo devolver un artículo de venta final después de 30 días y cuándo empieza a procesarse el reembolso?»

Fuente D-01, `/returns`, versión `returns-v4`, pasaje `p04`: «Los artículos comprados directamente en la tienda de ejemplo pueden devolverse en los 30 días naturales posteriores a la entrega. Los artículos de venta final están excluidos».

Fuente D-02, `/refunds`, versión `refunds-v2`, pasaje `p07`: «El procesamiento del reembolso comienza después de que el artículo devuelto llega al almacén».

Estado esperado: D-01 respalda un plazo de 30 días para compras directas elegibles y excluye expresamente la venta final. D-02 respalda el evento que inicia el procesamiento. Ningún pasaje indica cuánto tarda.

Respuesta registrada A-017: «Puedes devolver cualquier artículo en 30 días, incluidos los de venta final.[D-01] El reembolso comienza cuando envías la solicitud.[D-02] Normalmente se completa en cinco días».

El conjunto es imperfecto de forma intencional. Su valor es que cada veredicto posterior puede remitir a texto fijo. Si antes se prueba un desajuste de vocabulario, la guía separada sobre recuperación semántica con palabras distintas explica por qué recuperación y generación deben examinarse como etapas distintas.

Divide la respuesta en afirmaciones materiales

Una afirmación es material si, al ser incorrecta o faltar, podría cambiar una decisión. Separa conjunciones, cantidades, exclusiones, fechas, causalidad y pasos de procedimiento cuando dependan de evidencia diferente. No califiques un párrafo entero como una unidad.

Para A-017, la hoja registra cuatro afirmaciones:

1. C-017-1: se puede devolver cualquier artículo.
2. C-017-2: el plazo de devolución es de 30 días.
3. C-017-3: el reembolso empieza a procesarse cuando se envía la solicitud.
4. C-017-4: normalmente termina de procesarse en cinco días.

«Incluidos los de venta final» pertenece a C-017-1 porque amplía «cualquier artículo» y contradice una exclusión expresa. El plazo de 30 días es independiente porque el pasaje sí lo respalda, sujeto al alcance. La duración final se separa porque ningún pasaje habla de duración.

Esta descomposición evita que un fragmento respaldado legitime otro sin respaldo y hace visible el desacuerdo. Una persona puede cuestionar el límite de C-017-1 sin cambiar en silencio el veredicto de C-017-2. En colecciones científicas o técnicas, la misma disciplina es central para un flujo de investigación basado primero en citas, aunque especialistas quizá deban definir qué es material.

Construye la hoja de evidencia por afirmación

Usa una fila por afirmación material. Una hoja útil necesita:

• ID del caso, consulta, respuesta y afirmación;
• texto copiado de la respuesta registrada;
• ID de citas adjuntas exactamente como se mostraron;
• ID y versión de la fuente, ID del pasaje y posición devuelta;
• texto exacto del pasaje usado para revisar;
• veredicto y motivo de asociación de la cita;
• veredicto y motivo escrito de respaldo semántico;
• diagnóstico limitado a la evidencia visible;
• persona revisora, hora y nota pendiente.

Conserva el pasaje exacto, no solo la URL. Una página puede contener varias secciones similares y una repetición no puede distinguirlas con un localizador impreciso. Con anclas estables, guarda URL y ancla además del ID. Sin ellas, guarda un hash y suficiente texto vecino para volver a localizar el pasaje tras una edición.

Los marcos oficiales usan separaciones relacionadas. La documentación de evaluadores RAG de Microsoft distingue evaluación de recuperación y respuesta. Ragas documenta la fidelidad mediante afirmaciones respaldables por el contexto. AWS documenta modos de solo recuperación y de recuperación-generación. Ayudan a separar relevancia de recuperación y fidelidad RAG, pero no proporcionan un umbral universal para esta hoja.

Separa la asociación de la cita del respaldo semántico

«Adjunta» responde una pregunta mecánica: ¿la respuesta registrada asoció una fuente a la afirmación o frase? «Respaldada» responde una pregunta semántica: ¿el pasaje exacto justifica la afirmación conservando alcance, exclusiones, cantidades y tiempos importantes?

Nunca combines los campos. C-017-1 tiene una cita adjunta, pero el pasaje contradice la afirmación. C-017-4 no tiene cita ni respaldo recuperado. Otro caso podría tener respaldo recuperado sin cita visible: sería un problema de asociación, no prueba de fallo de recuperación.

Usa cuatro veredictos acotados:

• respaldada: el pasaje visible respalda la afirmación y sus calificadores importantes;
• respaldada parcialmente: respalda una parte separable, pero deja sin resolver un calificador, alcance o relación material;
• sin respaldo: los pasajes visibles no justifican la afirmación o entran en conflicto con ella;
• no evaluable: el registro es incompleto o requiere conocimiento o evidencia fuera del conjunto.

Cada veredicto requiere una razón escrita. La etiqueta es un índice, no el análisis. «No evaluable» debe indicar qué falta y no servir como sustituto cómodo de la revisión.

Diagnostica solo lo que permite el registro visible

La hoja puede exponer un síntoma sin demostrar su causa oculta. Usa lenguaje prudente y separa observación de hipótesis.

La matriz no es un evaluador automático ni atribuye el error a un componente. Acota la siguiente inspección. Resulta útil al pasar de buscar páginas a responder; consulta por qué la búsqueda encuentra páginas mientras los visitantes necesitan respuestas.

Registra una ausencia honesta como resultado de primer nivel

La prueba de ausencia honesta añade un caso cuyo dato solicitado no existe. En Q-017, los cinco días carecen de respaldo. Una respuesta acotada podría decir: «Las fuentes disponibles indican que el procesamiento empieza cuando el artículo llega al almacén, pero no indican cuándo termina». La hoja registra por separado el evento respaldado y la duración no disponible.

En el artefacto actual de Achla AI, la ruta principal fundamentada exige texto de respuesta junto con citas; el widget también tiene un estado visible de ausencia y puede mostrar enlaces fuente. Es una descripción de la implementación local inspeccionada, no una afirmación de rendimiento o fiabilidad. Una ausencia también necesita metadatos de repetición, porque una versión futura de la fuente podría añadir el dato.

Guarda metadatos de repetición y versión

Una repetición solo es útil si se sabe qué permaneció fijo y qué cambió. Guarda:

• texto e ID de consulta;
• texto e ID de respuesta;
• pasajes recuperados ordenados, puntuaciones si se exponen y filtros;
• ID de citas mostradas y su asociación a afirmación o frase;
• ID de instantánea, fuentes, versiones, pasajes y hashes;
• identificadores de configuración de recuperación y generación;
• versión de instrucciones, identificador del modelo registrado y revisión de la aplicación;
• configuración regional, hora, persona revisora y versión del esquema de la hoja.

Al repetir una regresión RAG, crea un run ID nuevo. No sobrescribas la respuesta anterior ni añadas pasajes nuevos al registro viejo. Compara filas solo con conjuntos compatibles. Si cambian consulta, instantánea o texto resuelto, decláralo. Un resultado distinto merece investigación, pero la hoja no establece por sí sola la causa.

Evita convertir el protocolo en una clasificación. No promedies etiquetas para inventar puntuaciones, no fijes un umbral arbitrario ni publiques una tasa de éxito de un conjunto no representativo. La agregación requiere un diseño de evaluación aprobado por separado; esta hoja conserva evidencia y juicio antes de agregar.

Reúne el paquete de auditoría

El paquete mínimo contiene conjunto congelado, salida bruta de recuperación, respuesta registrada, citas mostradas, filas completadas, notas, metadatos de versión y comparación. Incluye el esquema y un manifiesto con hashes. Si falta algo, indícalo en vez de reconstruirlo de memoria.

Para un corpus de documentación acotado, conserva el paquete junto a quien opera el flujo de búsqueda en documentación, no separado del historial de versiones de la fuente.

Mantén las decisiones como anexos o versiones. Si otra persona discrepa de la división o el veredicto, conserva tanto la fila original como la revisión documentada. Ese historial es más útil que una hoja limpia pero imposible de rastrear.

Limitaciones

El protocolo evalúa respaldo contra evidencia capturada y visible. No demuestra que una fuente sea correcta, vigente, completa o apropiada para decisiones de alto riesgo. No detecta todas las fuentes relevantes que la recuperación pudo omitir. No sustituye revisión especializada, pruebas de seguridad, privacidad y accesibilidad ni evaluación de latencia y experiencia.

Los límites de afirmaciones y veredictos semánticos requieren juicio. Personas distintas pueden discrepar razonablemente, en especial cuando un pasaje implica una relación en vez de declararla. Registra el desacuerdo y el motivo. No conviertas el protocolo en juez automático ni referencia universal sin un método validado por separado.

Usa la hoja en un corpus acotado del sitio

Elige un conjunto pequeño y versionado de preguntas reales, incluye al menos un vacío conocido y conserva el paquete de auditoría para cada repetición. Así obtendrás una lista de fundamentación RAG inspeccionable sin afirmar más de lo que demuestra el registro.

Para probar el flujo con contenido bajo tu control, conecta tu sitio y deja las decisiones factuales, de seguridad y publicación en manos de revisión humana.