#latencia

7 páginas con esta etiqueta.

Roadmap

2

Coste y latencia: medir antes de optimizar
Cómo medir tokens, tiempo total y tiempo hasta el primer token de cada llamada, convertirlo en coste y registrar todo para decidir con datos.
Latencia: streaming, modelo adecuado y menos pasos
Mide dónde se va el tiempo de un agente y redúcelo con streaming, el modelo adecuado para cada paso, menos pasos y llamadas en paralelo.

Docs

2

Latencia
De qué se compone el tiempo de respuesta de un sistema con modelos, cómo medirlo y qué técnicas lo reducen sin sacrificar calidad.
Streaming
Cómo recibir la respuesta del modelo por fragmentos mientras se genera, qué eventos llegan y cuándo compensa usarlo.

Guía de modelos

1

Elegir modelo por tarea
Qué tier de modelo (grande, mediano o rápido) encaja con cada tipo de tarea y un método para bajar de tier midiendo con evals sin perder calidad.

Sistemas

1

Agente de voz
Arquitectura de un agente que escucha, decide con herramientas y responde hablando, con streaming de punta a punta, gestión de interrupciones y confirmaciones antes de actuar.

Recetas

1

Streaming de respuestas
Muestra la respuesta del modelo a medida que se genera, en consola y en un endpoint web con Server-Sent Events, sin perder el mensaje final ni el stop_reason.