Evals
Referencia para medir la calidad de prompts y agentes con conjuntos de prueba, graders de código y modelos juez.
DocsLas evals son pruebas automáticas para sistemas con modelos de lenguaje: un conjunto de casos, una forma de puntuar cada respuesta y un número que puedes comparar entre versiones. Sin ellas, cada cambio de prompt o de modelo es una apuesta. Este grupo es la referencia técnica; el porqué y la práctica guiada están en el nivel Nivel 80 · Evals.
Qué cubre
- Diseñar evals. Cómo pasar de «parece que va bien» a un conjunto de prueba con criterios de éxito, cómo elegir el tipo de grader para cada criterio y cómo montar un arnés mínimo que puedas ejecutar en cada cambio. Empieza aquí.
- Modelo como juez. Cuándo usar un modelo para puntuar respuestas, cómo escribir la rúbrica, cómo obtener veredictos estructurados y cómo comprobar que el juez coincide con tu criterio. Incluye los sesgos conocidos y cómo mitigarlos.
Cómo se relaciona con lo demás
Las evals sostienen casi todas las decisiones del resto de la documentación. Para elegir modelo, la guía de modelos propone bajar de tier midiendo con evals. Para un agente, interesa también cómo llegó a la respuesta: eso es la trayectoria, tratada en Evals de trayectoria: cómo llegó, no solo qué dijo. Y para que no se rompan sin avisar, ejecútalas en integración continua con Evals de regresión en CI.
Si quieres un recorrido más completo y centrado en agentes, sigue el curso Evals para agentes.
Artículos
2- Diseñar evals 4 min
Cómo definir criterios de éxito, construir un conjunto de prueba, elegir el grader adecuado para cada criterio y montar un arnés de evals mínimo.
- Modelo como juez 4 min
Cómo usar un modelo para puntuar respuestas con una rúbrica, obtener veredictos estructurados, calibrarlo con etiquetas humanas y mitigar sus sesgos.