Contexto largo
Trabajar con entradas de muchos tokens en una sola petición, con sus ventajas y sus límites prácticos de calidad y coste.
También: long context · contexto extenso · ventana larga
GlosarioContexto largo es usar ventanas de contexto grandes para pasarle al modelo documentos enteros, repositorios o historiales extensos en una sola petición, en lugar de recuperar solo fragmentos. Simplifica la arquitectura, pero no es gratis: cada token cuesta, añade Latencia y el modelo no aprovecha todo el contexto por igual.
En la práctica
Liu et al. (2023) mostraron en Lost in the Middle que los modelos usan peor la información situada en mitad de un contexto largo que la del principio o el final. Para mitigarlo: pon los documentos arriba y la pregunta al final, etiqueta cada documento, pide que extraiga las citas relevantes antes de responder y usa Prompt caching si vas a preguntar varias veces sobre el mismo material. Si el corpus no cabe o cambia a menudo, combínalo con RAG.
No confundir con
- Ventana de contexto: el límite técnico de tokens. Contexto largo es la práctica de llenarla.