Chunking
Trocear documentos en fragmentos del tamaño adecuado para indexarlos y recuperarlos en un sistema RAG.
También: troceado · troceo · fragmentación de documentos
GlosarioChunking es dividir los documentos en fragmentos (chunks) antes de indexarlos, para que la búsqueda devuelva trozos relevantes y del tamaño justo en lugar de documentos enteros. Es el primer paso de cualquier RAG y uno de los que más influyen en la calidad final.
En la práctica
Las decisiones clave son tres: tamaño del fragmento, solapamiento entre fragmentos consecutivos y dónde cortar. Cortar por estructura (títulos, párrafos, funciones) suele funcionar mejor que cortar cada N caracteres, porque no parte ideas por la mitad. Guarda con cada fragmento sus metadatos (documento, sección, página) para poder citar la fuente. Un fragmento demasiado pequeño pierde contexto; uno demasiado grande diluye el embedding y gasta tokens. Mide con tus propias preguntas antes de fijar valores.
No confundir con
- Tokenización: divide texto en tokens para el modelo, no en fragmentos para buscar.