Glosario · Producción
Streaming
Recibir la respuesta del modelo por partes a medida que se genera, en lugar de esperar a que termine entera.
También: respuesta en streaming · transmisión incremental · server-sent events
GlosarioEl streaming es recibir la respuesta del modelo en fragmentos conforme se genera. El usuario empieza a leer en cuanto llega el primer Token y no tiene que esperar a que se complete toda la respuesta. La API de Anthropic lo envía como eventos del servidor (server-sent events).
En la práctica
with client.messages.stream(model=MODEL, max_tokens=1024, messages=messages) as stream:
for texto in stream.text_stream:
print(texto, end="", flush=True)
final = stream.get_final_message() # respuesta completa, con stop_reason y usageNo reduce el tiempo total ni el coste, pero mejora mucho la Latencia percibida en interfaces de chat y voz. También evita cortes por tiempo de espera en respuestas largas. Si usas herramientas, los argumentos de tool_use llegan troceados: espera al mensaje final para ejecutarlas.