#evals

29 páginas con esta etiqueta.

Roadmap

Construir un conjunto de prueba
De dónde sacar casos que representen el uso real, cómo etiquetarlos para que dos personas coincidan y cómo razonar cuántos necesitas.
Evals de trayectoria: cómo llegó, no solo qué dijo
Registra la trayectoria de un agente y evalúa qué herramientas llamó, en qué orden, con qué argumentos y en cuántos pasos.
Evaluar con código o con un modelo juez
Cuándo basta una comprobación en código, cómo escribir la rúbrica de un modelo juez, qué sesgos tiene y cómo calibrarlo con etiquetas humanas.
Iterar con casos de prueba
Cómo mejorar un prompt con datos: un conjunto de casos etiquetados, un script que mide el acierto, un cambio cada vez y un registro de versiones.
Nivel 80 · Evals
Aprende a medir si tu agente funciona con un conjunto de prueba, evaluadores de código y de modelo, y comprobaciones automáticas en cada cambio.
Por qué evals: lo que no mides, se rompe
Qué se rompe en un sistema con modelos cuando cambias algo sin medir, qué es exactamente una eval y cómo escribir tu primera en una tarde.
Regresiones en CI
Ejecuta tus evals en GitHub Actions en cada cambio, compara con una línea base, falla con umbrales claros y mantén el coste bajo control.

Datasets de evaluación
De dónde salen las tareas de evaluación de un agente, cómo se describen con su entorno y criterio de éxito, cuántas hacen falta y cómo se versionan sin que pierdan valor.
Evals en el día a día
Un ejecutor de evals con varias pruebas por tarea y comparación con la línea base, umbrales de regresión, qué ejecutar en cada PR y cada noche, y cómo convertir fallos de producción en tareas.
Evals para agentes
Monográfico para evaluar agentes de verdad, con resultado, trayectoria y coste, datasets que reflejan el uso real, graders bien calibrados y evals integradas en el trabajo diario.
Evaluar un RAG
Un banco de evaluación con fragmentos relevantes etiquetados, métricas de recuperación (recall@k, MRR) y de respuesta (fidelidad, citas, abstención) y cómo leerlas.
Graders: código, modelo y humano
Cuándo calificar con código, con un modelo juez o con una persona, cómo escribir rúbricas, qué sesgos tienen los jueces y cómo calibrarlos contra etiquetas humanas.
Qué medir en un agente
Resultado, trayectoria, eficiencia y seguridad como cuatro ejes de evaluación, comprobación del estado final y medición de la consistencia con pass@k y pass^k.
RAG a fondo
Monográfico para pasar de un RAG que funciona en la demo a uno que puedes medir, depurar y mejorar con datos en producción.

Diseñar evals
Cómo definir criterios de éxito, construir un conjunto de prueba, elegir el grader adecuado para cada criterio y montar un arnés de evals mínimo.
Evals
Referencia para medir la calidad de prompts y agentes con conjuntos de prueba, graders de código y modelos juez.
Modelo como juez
Cómo usar un modelo para puntuar respuestas con una rúbrica, obtener veredictos estructurados, calibrarlo con etiquetas humanas y mitigar sus sesgos.

Elegir modelo por tarea
Qué tier de modelo (grande, mediano o rápido) encaja con cada tipo de tarea y un método para bajar de tier midiendo con evals sin perder calidad.

Evaluador-optimizador
Un modelo genera, otro evalúa con criterios explícitos y devuelve feedback, y el bucle se repite hasta aprobar o agotar los intentos.

Evals como disciplina
Medir de forma repetible si tu aplicación de IA hace lo que debe, antes y después de cada cambio, y usar esa medida para decidir.

Evals de regresión en CI
Ejecuta tus evals en cada pull request con GitHub Actions, publica el resumen en el job y bloquea el merge si el acierto baja del umbral.
Modelo juez con rúbrica
Evalúa respuestas abiertas con un modelo juez que aplica una rúbrica de criterios binarios, devuelve un veredicto estructurado y se calibra contra etiquetas humanas.

Conjunto de evaluación
Colección de casos de prueba con entradas y criterios de éxito con la que mides de forma repetible un sistema con LLM.
Evals
Pruebas sistemáticas que miden si un sistema con LLM hace bien su tarea, sobre casos y criterios definidos.
Modelo juez
Usar un LLM para puntuar las salidas de otro sistema con una rúbrica, cuando el criterio no se puede comprobar con código.
Trayectoria
Secuencia completa de pasos de un agente en una tarea, con sus llamadas a herramientas, resultados y respuestas intermedias.

Las evals pasan del notebook al CI
Los equipos que construyen con modelos tratan las evals como tests de regresión que se ejecutan en cada cambio de prompt, herramienta o modelo.

Evals antes que prompts
Un ensayo sobre por qué deberías escribir los casos de prueba de tu sistema antes de afinar su prompt, y cómo hacerlo sin montar una infraestructura enorme.

Boletín n.º 2 · Contexto justo
Las ventanas grandes no sustituyen a la recuperación, la inyección de prompt entra por las herramientas, un ensayo sobre contexto y una receta de evals en CI.