Las evals pasan del notebook al CI

Qué es

Durante mucho tiempo las evals vivían en un notebook: alguien las ejecutaba a mano antes de un cambio grande y se olvidaban. La práctica que se extiende es tratarlas como tests. Un conjunto de evaluación versionado junto al código, un umbral por métrica y una ejecución automática en cada pull request que toque prompts, definiciones de herramientas o el modelo.

Qué cambia en la práctica

• Cambiar una línea del prompt de sistema pasa a ser un cambio revisable con evidencia, igual que cambiar código.
• Las evals tienen que ser rápidas y baratas para caber en CI: un subconjunto pequeño en cada PR y el conjunto completo de forma periódica.
• Los graders deterministas (código) dan señal estable. El modelo juez cubre lo que el código no puede medir, pero introduce varianza que hay que acotar.
• En agentes, importa también la trayectoria: qué herramientas usó y cuántos pasos dio.

Qué hacer

1. Empieza con 20–50 casos reales y criterios claros: Construir un conjunto de prueba.
2. Decide qué se puntúa con código y qué con modelo: Evaluar con código o con un modelo juez.
3. Monta el job de regresión con la receta Evals de regresión en CI.
4. Guarda los resultados por versión para comparar, y añade un caso cada vez que encuentres un fallo en producción (Evals en el día a día).