Nivel 80 · Evals

Hasta aquí has construido agentes y has comprobado a ojo si respondían bien. Eso funciona con diez preguntas y un autor. Deja de funcionar cuando cambias el prompt, el modelo o una herramienta y no sabes qué has roto. Este nivel convierte «parece que va bien» en un número que puedes comparar entre versiones.

Unas Evals son pruebas automáticas para sistemas con modelos: un Conjunto de evaluación, una forma de puntuar cada caso y una métrica agregada. Se parecen a los tests unitarios, con una diferencia importante: la salida no es determinista y muchas veces no hay una única respuesta correcta.

Para quién es

Para quien ya tiene un agente o un flujo con modelos que hace algo útil y quiere cambiarlo sin miedo. Necesitas saber leer trazas (Depurar un agente leyendo sus trazas) y haber iterado un prompt con casos de prueba (Iterar con casos de prueba). Si vienes del nivel 60, aquí tienes la forma de decidir con datos si tu sistema multiagente gana al agente único.

Lecciones

1. Por qué evals: lo que no mides, se rompe. Qué falla sin evals, qué mide una eval y cómo encaja en tu ciclo de trabajo.
2. Construir un conjunto de prueba. De dónde salen los casos, cómo etiquetarlos y cuántos necesitas para empezar sin engañarte.
3. Evaluar con código o con un modelo juez. Cuándo basta con una comprobación en código, cómo escribir la rúbrica de un Modelo juez y cómo calibrarlo con tus etiquetas.
4. Evals de trayectoria: cómo llegó, no solo qué dijo. Evaluar qué herramientas llamó el agente, en qué orden y cuántos pasos dio.
5. Regresiones en CI. Ejecutar todo en GitHub Actions con umbrales y un coste controlado.

Proyecto del nivel

Eliges un agente tuyo, el del nivel 40 o el investigador del nivel 60, y le construyes una suite completa. Persigue un número fiable antes que un número alto: que suba cuando el agente mejora, que baje cuando empeora y que alguien de tu equipo entienda qué mide.

Para seguir

Con evals en marcha, el nivel Nivel 100 · Producción te enseña a llevar el agente a producción con trazas, control de costes y seguridad. Si quieres ir más a fondo en evaluadores y datasets, sigue con Evals para agentes.