← Todas las entradas
terminado

PoC: RAG desde cero con la Constitución de Chile

Stack: Python · NumPy · Ollama · bge-m3 · qwen3:4b-instruct

Objetivo

Entender qué hace un RAG por dentro, construyéndolo a mano y sin frameworks: ¿cuánto mejora las respuestas de un modelo chico, que corre en un PC normal, si antes de responder le pasamos los fragmentos correctos de un documento?

El concepto en simple

Un modelo de lenguaje responde con lo que “recuerda” de su entrenamiento. Si el dato no estaba ahí, o cambió después, lo inventa con total seguridad.

RAG (Retrieval-Augmented Generation) agrega un paso previo: buscar en tus documentos los trozos relevantes para la pregunta y pegarlos en el prompt, con la instrucción de responder solo con eso. El modelo pasa de recordar a leer.

Arquitectura

Preparación (una sola vez)
  Constitución (texto BCN)
    ↓ limpiar y cortar por artículo
  378 chunks
    ↓ bge-m3
  378 vectores de 1.024 números

Cada pregunta
  pregunta
    ↓ bge-m3
  vector de la pregunta
    ↓ similitud coseno contra los 378
  los 4 chunks más parecidos
    ↓ prompt con instrucciones
  qwen3:4b-instruct
    ↓
  respuesta con cita del artículo

Todo corre local con Ollama: nada sale del computador.

Pieza Elección Por qué
Documento Constitución vigente Público, en español, con estructura clara para citar
Embeddings bge-m3 Multilingüe, buen rendimiento en español
Búsqueda NumPy Con 378 vectores basta un producto de matrices
Generación qwen3:4b-instruct 4.000 millones de parámetros: cabe y corre en un PC sin GPU

Implementación

1. Chunks. El texto de la BCN trae, mezcladas con la ley, notas al margen sobre qué ley modificó cada inciso (“CPR Art. 19° N° 1°”, “D.O. 24.10.1980”), que a veces cortan una palabra por la mitad. La limpieza y el corte por artículo fueron, por lejos, la parte que más trabajo dio. Cada chunk queda con su “dirección”, lista para citar:

{
  "fuente": "Artículo 25 (Capítulo IV)",
  "texto": "Artículo 25.- Para ser elegido Presidente…"
}

2. Embeddings. Cada chunk se convierte en un vector que representa su significado. Frases con el mismo sentido y distintas palabras quedan cerca:

Frase A Frase B Similitud
Las personas nacen libres e iguales en dignidad y derechos. Todos los seres humanos tienen la misma dignidad desde que nacen. 0,850
Las personas nacen libres e iguales en dignidad y derechos. El Presidente de la República dura cuatro años en su cargo. 0,397

3. Búsqueda. El corazón del RAG son estas líneas:

def buscar(pregunta, k=4):
    q = embeber([pregunta])[0]   # la pregunta como vector
    puntajes = matriz @ q        # similitud contra los 378 chunks
    mejores = np.argsort(-puntajes)[:k]
    return [(puntajes[i], chunks[i]) for i in mejores]

4. Generación. Los chunks encontrados van al prompt, numerados con su fuente, junto a la instrucción de responder solo con ese contexto, citar entre corchetes y decir “No encontré eso en la Constitución” si no está.

Resultados

Mismo modelo, misma pregunta, con y sin RAG:

Pregunta Sin RAG Con RAG
¿Qué requisitos hay para ser diputado? 25 años, cita una “Constitución de 2022” que no existe 21 años, enseñanza media y 2 años de residencia en la región [Art. 48] ✅
¿Cuántos senadores tiene el Senado? “38 senadores”, con un artículo inventado “No encontré eso en la Constitución” ✅ (el número lo fija una ley orgánica, no la Constitución)
¿A qué edad se vota y es obligatorio? 18 años y obligatorio, citando un “Artículo 43” inventado 18 años [Art. 13]; obligatorio [Art. 160] ✅
¿Cuánto dura el mandato presidencial? — Cuatro años, sin reelección inmediata [Art. 25] ✅
¿Me pueden meter preso sin una orden? — No [Art. 19]: encuentra el artículo aunque la pregunta no use sus palabras ✅
¿Quién ganó la Copa América 2015? — “No encontré eso en la Constitución” ✅

Lo más interesante no es que acierte, sino cómo falla sin RAG: inventa números y artículos con total seguridad. Con RAG, cuando el dato no está, lo dice.

En un PC sin GPU, calcular los embeddings de los 378 chunks tomó unos 6 minutos (una sola vez, quedan guardados). Después, la búsqueda tarda una décima de segundo y lo lento es el modelo: unos 30 segundos por respuesta.

Aprendizajes

Próximos pasos