Conjunto de evaluación
Colección de casos de prueba con entradas y criterios de éxito con la que mides de forma repetible un sistema con LLM.
También: eval set · dataset de evaluación · conjunto de prueba · golden set
GlosarioUn conjunto de evaluación es la lista de casos con la que ejecutas tus Evals: cada caso tiene una entrada y lo que cuenta como acierto, sea una respuesta esperada, unos hechos que deben aparecer o una rúbrica. Es lo que convierte «parece que va mejor» en un número comparable entre versiones.
En la práctica
Empieza pequeño y real: casos sacados de uso real, de errores que ya has visto y de los casos límite que te preocupan, no ejemplos inventados que el sistema resuelve fácilmente. Etiqueta cada caso por tipo para ver dónde falla. Añade un caso nuevo cada vez que encuentres un fallo en producción. Separa los casos con los que iteras el prompt de los que usas para validar, o acabarás ajustando el sistema a las preguntas del examen. Versiona el conjunto junto al código.
No confundir con
- Datos de entrenamiento: sirven para ajustar un modelo con Fine-tuning. El conjunto de evaluación no se usa para entrenar.