#streaming

5 páginas con esta etiqueta.

Roadmap

1

Latencia: streaming, modelo adecuado y menos pasos
Mide dónde se va el tiempo de un agente y redúcelo con streaming, el modelo adecuado para cada paso, menos pasos y llamadas en paralelo.

Docs

2

Latencia
De qué se compone el tiempo de respuesta de un sistema con modelos, cómo medirlo y qué técnicas lo reducen sin sacrificar calidad.
Streaming
Cómo recibir la respuesta del modelo por fragmentos mientras se genera, qué eventos llegan y cuándo compensa usarlo.

Sistemas

1

Agente de voz
Arquitectura de un agente que escucha, decide con herramientas y responde hablando, con streaming de punta a punta, gestión de interrupciones y confirmaciones antes de actuar.

Recetas

1

Streaming de respuestas
Muestra la respuesta del modelo a medida que se genera, en consola y en un endpoint web con Server-Sent Events, sin perder el mensaje final ni el stop_reason.