Observabilidad
Capacidad de ver qué hace tu sistema con LLM en cada petición mediante trazas, registros y métricas de coste y latencia.
También: observability · trazabilidad · tracing
GlosarioLa observabilidad es poder responder, para cualquier petición, qué ha pasado dentro del sistema: qué prompt se envió, qué devolvió el modelo, qué herramientas llamó, cuánto tardó cada paso y cuántos tokens gastó. En un Agente es la diferencia entre depurar leyendo la Trayectoria y adivinar.
En la práctica
Registra cada llamada como un span dentro de una traza por petición: modelo, entrada, salida, stop_reason, usage (incluidos los tokens de caché), duración y errores. Añade un identificador de petición y de usuario para poder buscar. Con eso calculas coste por petición, Latencia por percentiles y tasa de errores de herramientas. Cuidado con los datos personales: decide qué se guarda, durante cuánto tiempo y quién lo ve. Las trazas reales son además la mejor fuente para tu Conjunto de evaluación.