Producción
Referencia para llevar agentes a producción con trazas, control de costes, límites de tasa, reintentos y latencia razonable.
DocsUn prototipo responde bien en tu portátil. Un sistema en producción responde bien con mil usuarios a la vez, sabe cuánto cuesta cada petición, sobrevive a errores de la API y te deja reconstruir qué pasó cuando algo sale mal. Este grupo reúne la referencia técnica para ese salto. La versión guiada, con proyecto, está en el nivel Nivel 100 · Producción.
Qué cubre
- Observabilidad. Qué registrar de cada llamada y de cada paso del agente, cómo organizarlo en trazas y qué métricas mirar a diario. Es lo primero que montas: sin trazas, los otros dos artículos se quedan en intuiciones.
- Costes y límites. Cómo leer
usage, qué palancas bajan el coste (prompt caching, procesamiento por lotes, modelo adecuado, contexto más corto) y cómo manejar los límites de tasa y los errores 429 y 529 con reintentos y backoff. - Latencia. De qué se compone el tiempo de respuesta, cómo medirlo y qué hacer para bajarlo: streaming, menos tokens de salida, menos pasos, paralelismo y caché.
Orden recomendado
Primero observabilidad, porque te da los datos. Después costes y latencia, que se optimizan con esos datos y suelen tirar en direcciones opuestas: lo más barato no siempre es lo más rápido. Antes de abrir el sistema a usuarios reales, repasa también Seguridad y la checklist de la guía de modelos.
Para soluciones concretas y cortas, las recetas Recortar costes con prompt caching, Reintentos y límites de tasa y Streaming de respuestas complementan estos artículos.
Artículos
3- Observabilidad 4 min
Qué registrar de cada llamada al modelo y de cada paso de un agente, cómo organizarlo en trazas y qué métricas vigilar en producción.
- Costes y límites 6 min
Cómo leer usage, qué palancas reducen el coste (caché, lotes, modelo, contexto) y cómo manejar límites de tasa y errores 429 y 529 con reintentos y backoff.
- Latencia 4 min
De qué se compone el tiempo de respuesta de un sistema con modelos, cómo medirlo y qué técnicas lo reducen sin sacrificar calidad.