Empezar aquí

#produccion

23 páginas con esta etiqueta.

Roadmap

7

  • Control de costes y prompt caching

    Dónde se va el dinero en un agente, cómo cachear el prefijo con cache_control y cómo comprobar con usage que la caché funciona de verdad.

  • Despliegue

    Secretos, límites de tasa, reintentos con backoff, prompts versionados y feature flags para desplegar un agente y volver atrás sin sustos.

  • Humano en el bucle

    Pausa el agente antes de acciones irreversibles, guarda su estado, enseña a una persona exactamente qué va a pasar y reanuda con su decisión.

  • Latencia: streaming, modelo adecuado y menos pasos

    Mide dónde se va el tiempo de un agente y redúcelo con streaming, el modelo adecuado para cada paso, menos pasos y llamadas en paralelo.

  • Nivel 100 · Producción

    Lleva un agente a usuarios reales con trazas, control de costes y latencia, defensas contra inyección, aprobación humana y un despliegue que aguanta fallos.

  • Observabilidad y trazas

    Qué registrar en cada llamada al modelo y a cada herramienta, cómo enlazarlo con IDs en una traza y qué métricas sacar para operar un agente.

  • Seguridad: prompt injection y permisos

    Cómo llega la inyección de prompt a un agente, directa o a través de herramientas, y cómo limitar el daño con mínimo privilegio y comprobaciones en código.

Cursos

1

  • Evals en el día a día

    Un ejecutor de evals con varias pruebas por tarea y comparación con la línea base, umbrales de regresión, qué ejecutar en cada PR y cada noche, y cómo convertir fallos de producción en tareas.

Docs

4

  • Costes y límites

    Cómo leer usage, qué palancas reducen el coste (caché, lotes, modelo, contexto) y cómo manejar límites de tasa y errores 429 y 529 con reintentos y backoff.

  • Latencia

    De qué se compone el tiempo de respuesta de un sistema con modelos, cómo medirlo y qué técnicas lo reducen sin sacrificar calidad.

  • Observabilidad

    Qué registrar de cada llamada al modelo y de cada paso de un agente, cómo organizarlo en trazas y qué métricas vigilar en producción.

  • Producción

    Referencia para llevar agentes a producción con trazas, control de costes, límites de tasa, reintentos y latencia razonable.

Guía de modelos

1

  • Checklist antes de producción

    Lista accionable para revisar un prompt o un agente antes de desplegarlo, desde las instrucciones y el contexto hasta evals, costes, seguridad y trazas.

Disciplinas

1

  • Observabilidad

    Registrar cada llamada, herramienta y decisión de tu agente para poder explicar qué hizo, cuánto costó y por qué falló.

Recetas

2

  • Recortar costes con prompt caching

    Cachea la parte fija de tus peticiones (sistema, herramientas, documentos) con cache_control y comprueba con usage cuántos tokens se leen de caché.

  • Reintentos y límites de tasa

    Qué reintenta ya el SDK por ti ante errores 429 y 529, cómo ajustar max_retries y cómo añadir una capa de backoff y control de concurrencia para trabajos por lotes.

Glosario

5

  • Guardrails

    Controles alrededor del modelo que validan entradas, salidas y acciones para impedir comportamientos no deseados.

  • Latencia

    Tiempo que tarda el sistema en responder, desde que envías la petición hasta el primer token o la respuesta completa.

  • Observabilidad

    Capacidad de ver qué hace tu sistema con LLM en cada petición mediante trazas, registros y métricas de coste y latencia.

  • Prompt caching

    Reutilizar un prefijo de la petición ya procesado para que las siguientes llamadas cuesten menos y respondan antes.

  • Streaming

    Recibir la respuesta del modelo por partes a medida que se genera, en lugar de esperar a que termine entera.

Radar

1

Blog

1