Objetivo
Entender qué hace un RAG por dentro, construyéndolo a mano y sin frameworks: ¿cuánto mejora las respuestas de un modelo chico, que corre en un PC normal, si antes de responder le pasamos los fragmentos correctos de un documento?
El concepto en simple
Un modelo de lenguaje responde con lo que “recuerda” de su entrenamiento. Si el dato no estaba ahí, o cambió después, lo inventa con total seguridad.
RAG (Retrieval-Augmented Generation) agrega un paso previo: buscar en tus documentos los trozos relevantes para la pregunta y pegarlos en el prompt, con la instrucción de responder solo con eso. El modelo pasa de recordar a leer.
Arquitectura
Preparación (una sola vez)
Constitución (texto BCN)
↓ limpiar y cortar por artículo
378 chunks
↓ bge-m3
378 vectores de 1.024 números
Cada pregunta
pregunta
↓ bge-m3
vector de la pregunta
↓ similitud coseno contra los 378
los 4 chunks más parecidos
↓ prompt con instrucciones
qwen3:4b-instruct
↓
respuesta con cita del artículo
Todo corre local con Ollama: nada sale del computador.
| Pieza | Elección | Por qué |
|---|---|---|
| Documento | Constitución vigente | Público, en español, con estructura clara para citar |
| Embeddings | bge-m3 |
Multilingüe, buen rendimiento en español |
| Búsqueda | NumPy | Con 378 vectores basta un producto de matrices |
| Generación | qwen3:4b-instruct |
4.000 millones de parámetros: cabe y corre en un PC sin GPU |
Implementación
1. Chunks. El texto de la BCN trae, mezcladas con la ley, notas al margen sobre qué ley modificó cada inciso (“CPR Art. 19° N° 1°”, “D.O. 24.10.1980”), que a veces cortan una palabra por la mitad. La limpieza y el corte por artículo fueron, por lejos, la parte que más trabajo dio. Cada chunk queda con su “dirección”, lista para citar:
{
"fuente": "Artículo 25 (Capítulo IV)",
"texto": "Artículo 25.- Para ser elegido Presidente…"
}
2. Embeddings. Cada chunk se convierte en un vector que representa su significado. Frases con el mismo sentido y distintas palabras quedan cerca:
| Frase A | Frase B | Similitud |
|---|---|---|
| Las personas nacen libres e iguales en dignidad y derechos. | Todos los seres humanos tienen la misma dignidad desde que nacen. | 0,850 |
| Las personas nacen libres e iguales en dignidad y derechos. | El Presidente de la República dura cuatro años en su cargo. | 0,397 |
3. Búsqueda. El corazón del RAG son estas líneas:
def buscar(pregunta, k=4):
q = embeber([pregunta])[0] # la pregunta como vector
puntajes = matriz @ q # similitud contra los 378 chunks
mejores = np.argsort(-puntajes)[:k]
return [(puntajes[i], chunks[i]) for i in mejores]
4. Generación. Los chunks encontrados van al prompt, numerados con su fuente, junto a la instrucción de responder solo con ese contexto, citar entre corchetes y decir “No encontré eso en la Constitución” si no está.
Resultados
Mismo modelo, misma pregunta, con y sin RAG:
| Pregunta | Sin RAG | Con RAG |
|---|---|---|
| ¿Qué requisitos hay para ser diputado? | 25 años, cita una “Constitución de 2022” que no existe | 21 años, enseñanza media y 2 años de residencia en la región [Art. 48] ✅ |
| ¿Cuántos senadores tiene el Senado? | “38 senadores”, con un artículo inventado | “No encontré eso en la Constitución” ✅ (el número lo fija una ley orgánica, no la Constitución) |
| ¿A qué edad se vota y es obligatorio? | 18 años y obligatorio, citando un “Artículo 43” inventado | 18 años [Art. 13]; obligatorio [Art. 160] ✅ |
| ¿Cuánto dura el mandato presidencial? | — | Cuatro años, sin reelección inmediata [Art. 25] ✅ |
| ¿Me pueden meter preso sin una orden? | — | No [Art. 19]: encuentra el artículo aunque la pregunta no use sus palabras ✅ |
| ¿Quién ganó la Copa América 2015? | — | “No encontré eso en la Constitución” ✅ |
Lo más interesante no es que acierte, sino cómo falla sin RAG: inventa números y artículos con total seguridad. Con RAG, cuando el dato no está, lo dice.
En un PC sin GPU, calcular los embeddings de los 378 chunks tomó unos 6 minutos (una sola vez, quedan guardados). Después, la búsqueda tarda una décima de segundo y lo lento es el modelo: unos 30 segundos por respuesta.
Aprendizajes
- Un RAG funcional son unas 40 líneas: embeber, comparar, meter en el prompt. No hace falta un framework para entenderlo.
- La calidad depende sobre todo de los chunks. Cortar por la estructura del documento (artículos) da trozos con sentido completo y permite citar casi gratis.
- Elegir bien la variante del modelo importa. La primera versión usó
qwen3:4b, que hoy es la variante que “razona en voz alta” antes de responder: escribía párrafos en inglés y la corrida tomaba 35 minutos. Conqwen3:4b-instruct, la misma respuesta sale directa. - “No sé” es una respuesta valiosa. La instrucción de decir que no lo encontró funcionó en todas las pruebas.
Próximos pasos
- Armar un set de preguntas con su artículo esperado para medir la búsqueda en vez de mirarla a ojo.
- Probar búsqueda híbrida (palabras clave + embeddings) y un re-ranker.
- Hacer la misma PoC con LangChain o LlamaIndex y comparar cuánto código ahorran y cuánto esconden.