Evals para agentes

El nivel 80 del roadmap te enseñó por qué evaluar, cómo montar un conjunto de prueba y cómo llevarlo a CI. Este curso se centra en lo que hace difíciles las evals de agentes: muchas formas válidas de llegar al resultado, efectos en sistemas externos, resultados que varían entre ejecuciones y graders que también se equivocan.

Objetivo

Al terminar sabrás decidir qué medir en un agente concreto, construir y versionar un dataset de tareas con su entorno, combinar graders de código, de modelo y humanos según lo que miden, y montar una rutina en la que cada cambio de prompt, herramienta o modelo pasa por la evaluación antes de llegar a producción.

Para quién

Para quien ya tiene un agente funcionando (aunque sea pequeño) y nota que cada mejora rompe algo que antes iba bien. También para quien revisa trabajo de agentes y necesita criterios más finos que «parece que funciona».

Requisitos

• Nivel 40 · Tu primer agente: bucle agéntico, condiciones de parada y trazas.
• Nivel 80 · Evals: conjunto de prueba, modelo juez y regresiones en CI a nivel básico.
• Recomendable: Nivel 100 · Producción, para conectar evals con observabilidad.

Temario

1. Qué medir en un agente. Resultado, trayectoria, eficiencia y seguridad. Comprobar el estado final del entorno en lugar del texto, y medir la consistencia entre ejecuciones con pass@k y pass^k.
2. Datasets de evaluación. De dónde salen las tareas, cómo se describen (entrada, entorno, criterio de éxito), cuántas hacen falta, cómo se versionan y cómo evitar que el dataset se quede viejo.
3. Graders: código, modelo y humano. Cuándo usar código, cuándo un modelo juez y cuándo una persona; rúbricas, sesgos conocidos y calibración contra etiquetas humanas.
4. Evals en el día a día. Un ejecutor con concurrencia y comparación con la línea base, umbrales de regresión, qué ejecutar en cada PR y qué cada noche, y el ciclo que convierte fallos de producción en casos nuevos.

Qué construyes

Un banco de evaluación para un agente tuyo con al menos 25 tareas, cada una con su entorno reproducible y su criterio de éxito; graders de los tres tipos; un ejecutor que lanza varias pruebas por tarea, calcula métricas de resultado, trayectoria y coste, y compara contra la última versión aprobada. Al final, lo enganchas a tu CI.