Latencia
Tiempo que tarda el sistema en responder, desde que envías la petición hasta el primer token o la respuesta completa.
También: latency · tiempo de respuesta · tiempo hasta el primer token
GlosarioLa latencia es el tiempo de espera entre que envías una petición y obtienes la respuesta. En sistemas con LLM se miden dos cosas: el tiempo hasta el primer token (lo que el usuario percibe como «empieza a responder») y el tiempo total, que crece con el número de tokens de salida y, en un Agente, con cada paso del bucle.
En la práctica
Mide antes de optimizar, por percentiles y no solo con la media. Las palancas, de más a menos impacto habitual: menos pasos y menos llamadas encadenadas, menos tokens de salida, un modelo más rápido para las tareas sencillas, Prompt caching para prefijos largos y llamadas en paralelo cuando no dependen entre sí. El Streaming no reduce el tiempo total, pero hace que la espera se perciba mucho menor. El Razonamiento extendido añade latencia: actívalo donde aporte.