El prompt caching es la primera palanca de coste

Qué es

Un agente reenvía en cada paso lo mismo: definiciones de herramientas, prompt de sistema, documentos y todo el historial. Con prompt caching ese prefijo se guarda y las peticiones siguientes lo leen de caché, que cuesta mucho menos que la entrada normal y reduce la latencia. Antes de cambiar de modelo o recortar el prompt, es el primer sitio donde mirar.

Qué cambia en la práctica

• Marcas un bloque con "cache_control": {"type": "ephemeral"} (hasta 4 puntos de corte) o activas la caché automática en el nivel superior de la petición.
• El prefijo se cachea en orden tools → system → messages. Cambiar algo invalida eso y todo lo posterior.
• La caché dura 5 minutos por defecto y se renueva al usarse; existe la opción de una hora.
• Escribir en caché cuesta algo más que la entrada normal, y hay un mínimo de tokens que depende del modelo. Consulta multiplicadores y mínimos en la documentación oficial.

Qué hacer

1. Ordena el prompt de lo estable a lo variable. Nada de fechas ni identificadores al principio del sistema.
2. Mide cache_creation_input_tokens y cache_read_input_tokens en resp.usage para comprobar aciertos.
3. Sigue la receta Recortar costes con prompt caching y la referencia Prompt caching.
4. Integra la medición en tu control de costes: Costes y límites.