Un Laboratorio RAG Local: Ambiente Completo para Experimentar con IA Generativa

Con todo el boom de la IA generativa, muchos desarrolladores se preguntan cómo empezar a experimentar sin gastar una fortuna en APIs o perder días configurando servicios. Después de varios intentos fallidos tratando de armar algo decente, surge la necesidad de crear un playground RAG que realmente funcione.

Este artículo explora cómo tener un laboratorio completo funcionando en menos de 10 minutos.

Por qué RAG está revolucionando el desarrollo de aplicaciones inteligentes

Cuando trabajas con LLMs te das cuenta rápido de una limitación: estos modelos saben mucho, pero no saben sobre tus datos específicos. Ahí es donde RAG se vuelve súper interesante. Básicamente le das al modelo acceso a información específica que necesita, y las respuestas mejoran dramáticamente.

Para ingenieros de datos, esto es emocionante porque finalmente pueden usar todas esas habilidades de manejo de datos en algo realmente innovador. Es como hacer ETL, pero para alimentar cerebros artificiales.

Un playground que realmente funciona

Después de probar mil herramientas diferentes y configuraciones que se rompen cada dos días, el repositorio rag_environment ofrece todo lo necesario en un solo lugar. La idea es simple: git clone, un comando, y que todo funcione.

Las herramientas elegidas (y las razones detrás)

Cada herramienta está ahí por una razón específica:

Para los modelos de IA:

• Ollama permite correr modelos localmente sin pagar por cada pregunta. Perfecto para experimentar todo lo que quieras sin ver cómo se va el presupuesto.

Para guardar y buscar información:

• Qdrant se ha convertido en una base de datos vectorial favorita entre desarrolladores. Es rápida, confiable, y su API es súper intuitiva.

Para datos estructurados:

• PostgreSQL maneja todo lo que necesita estructura tradicional
• ClickHouse brilla cuando empiezas a hacer analytics serios de experimentos RAG
• MinIO funciona igual que S3 pero local, perfecto para guardar documentos

Para mantener la cordura durante el debugging:

• LangFuse es oro puro. Muestra exactamente qué está pasando en el pipeline RAG, dónde se rompe, y qué tan bien está funcionando.
• Redis porque el cache nunca sobra

Para experimentar:

• Jupyter obvio, para esos momentos de «déjame probar esta idea rápido»

El truco del bootstrap automático

La parte más elegante es que no hay que configurar nada manualmente. El script bootstrap.sh hace toda la magia:

• Limpia cualquier cosa que esté corriendo
• Construye todas las imágenes
• Levanta los servicios en el orden correcto (esto requiere varias iteraciones para lograr bien)
• Descarga automáticamente el modelo que especifiques
• Confirma que todo esté funcionando

Literalmente es: clona, corre un script, y a experimentar.

Casos de uso en el día a día

Este setup ahorra muchísimo tiempo. Algunos ejemplos de lo que se puede hacer:

Prototipado rápido

Cuando surge una idea de cómo procesar documentos o qué estrategia de chunking probar, no hay que perder tiempo configurando infraestructura. Solo abre Jupyter y ponte a experimentar.

Comparar modelos

Con Ollama puedes probar diferentes modelos lado a lado sin que cueste un peso. ¿Llama funciona mejor que Mistral para tu caso de uso? Lo pruebas en 5 minutos.

Métricas que importan

ClickHouse permite hacer análisis serios de rendimiento. Latencia, precisión, costos computacionales… todo lo necesario para optimizar el sistema.

Debugging profesional

LangFuse es increíble para entender qué carajo está pasando cuando algo no funciona como se esperaba. Ves cada paso, cada llamada, cada respuesta.

Lo interesante de la arquitectura

Aunque es un ambiente de desarrollo, sigue patrones que se pueden usar en producción:

• Cada servicio hace una cosa y la hace bien
• Todo se configura con variables de entorno
• Los health checks avisan si algo se rompe
• Los datos persisten entre reinicios

Cómo empezar (de verdad es fácil)

# Clona el repo
git clone https://github.com/oscxrojas/rag_environment.git
cd rag_environment

# Configura las variables (copia el template y edítalo)
cp .env-template .env
# Agrega tu API key de OpenAI y ajusta lo que necesites

# Corre el bootstrap y ve por un café
./bootstrap.sh

Cuando termine, tienes:

• Jupyter en localhost:8888 para experimentar
• Qdrant en localhost:6333 para ver vectores
• LangFuse en localhost:3000 para observabilidad
• Ollama en localhost:11434 para los modelos

Los comandos más útiles

# Ver qué está corriendo
docker ps

# Entrar a un contenedor
docker exec -it jupyter bash

# Ver logs cuando algo falla
docker-compose logs qdrant

# Reiniciar un servicio
docker-compose restart ollama

Por qué esto importa ahora

La IA generativa ya no es solo para las Big Tech con presupuestos infinitos. Con herramientas como esta, cualquier ingeniero de datos puede experimentar y aprender.

Las ventajas son claras:

• Experimentar sin límites de presupuesto
• Mantener los datos privados (súper importante)
• Aprender haciendo, no solo leyendo
• Probar ideas antes de comprometerse con infraestructura cara

Reflexiones finales

Este proyecto nació de la frustración común al tratar de armar algo funcional para experimentar con RAG. Después de muchos intentos fallidos, la solución fue crear algo que realmente funcionara y que otros pudieran usar.

No es perfecto, pero hace lo que promete: da un ambiente completo para experimentar con RAG sin dolores de cabeza. Ha resultado invaluable para aprender y prototipar ideas.

Para ingenieros de datos con curiosidad sobre la IA generativa, vale la pena probarlo. La barrera de entrada es súper baja y las posibilidades son enormes.

El playground está listo cuando lo estés.