Radar · Modelos
Ventanas de contexto enormes: no sustituyen a la recuperación
Que quepa todo en la ventana no significa que convenga meterlo. La recuperación sigue ganando en coste, latencia y precisión en la mayoría de casos.
Fuente: Liu et al., 2023 · Lost in the Middle: How Language Models Use Long Contexts
RadarQué es
Las ventanas de contexto de los modelos han crecido tanto que muchos corpus pequeños caben enteros. La tentación es dejar de hacer RAG y pegarlo todo. La tendencia entre quienes miden es la contraria: usar el contexto largo como complemento de la recuperación, no como reemplazo.
Qué cambia en la práctica
- Coste y latencia escalan con los tokens de entrada. Mandar cien mil tokens en cada pregunta se paga en cada pregunta, aunque el prompt caching amortigue parte.
- La atención no es uniforme. Liu et al. mostraron que los modelos usan peor la información situada en mitad de contextos largos. Más texto irrelevante es más ruido.
- Sin recuperación pierdes trazabilidad. Citar la fuente exacta es más fácil cuando sabes qué fragmentos entraron.
- El contexto largo sí ayuda cuando la tarea exige ver un documento entero: comparar versiones, revisar un contrato completo, razonar sobre un repositorio pequeño.
Qué hacer
- Mide antes de decidir: compara calidad, coste y latencia de «todo en contexto» frente a recuperar los mejores fragmentos con tu conjunto de evaluación.
- Si recuperas, hazlo bien: búsqueda híbrida y reranking.
- Si usas documentos largos, colócalos arriba y la pregunta al final, como explica Trabajar con documentos largos.
- Trata el contexto como un presupuesto: Context engineering.