Despliegue completo de un ecosistema de Inteligencia Artificial sobre Linux y Docker. Sin dependencia de servicios externos, sin envío de datos a la nube. 100% privado, 100% tuyo.
En la actualidad, la soberanía de los datos y la privacidad se han convertido en pilares fundamentales del desarrollo tecnológico. Este proyecto nace de la necesidad de desplegar un ecosistema de Inteligencia Artificial de alto rendimiento que funcione de manera 100% local, eliminando la dependencia de servicios en la nube y garantizando la seguridad de la información.
El despliegue cubre el proceso completo de configuración de un entorno sobre Linux, utilizando Ollama como motor de modelos de lenguaje (LLM), Docker + Open WebUI para la interfaz multiusuario, y ComfyUI + Flux.1 para la generación avanzada de imágenes. El objetivo es demostrar que con hardware de consumo es posible alcanzar flujos de trabajo profesionales en IA con latencia mínima y control total.
Ningún dato abandona la red local. Los modelos se ejecutan íntegramente en la GPU local, sin APIs externas ni suscripciones de pago.
La VRAM de la GPU es el factor crítico. Con 16GB se pueden cargar modelos como Mistral 12B, modelos de 24b como máximo o Flux.1 íntegramente en GPU, lo que da velocidades de inferencia muy superiores a usar RAM del sistema.
| Componente | Especificación | Rol |
|---|---|---|
| CPU | Intel i5-13600KF | Cómputo auxiliar y Docker |
| RAM | 2 × 8GB Kingston Fury 3200MHz | Sistema y contenedores |
| GPU | NVIDIA RTX 4060 Ti 16GB VRAM | Inferencia IA (CUDA) |
| Almacenamiento | 1TB NVMe M.2 Kingston | Modelos y contenedores |
| Sistema Operativo | Ubuntu | Host principal |
Para el aislamiento de la interfaz de usuario (Open WebUI) en contenedores.
Necesario para los entornos virtuales de ComfyUI y las dependencias de PyTorch.
Drivers actualizados con soporte CUDA para aceleración GPU en inferencia.
Ollama actúa como el backend o "cerebro" encargado de ejecutar los modelos LLM en local. Se instala como servicio del sistema y detecta automáticamente la GPU NVIDIA disponible.
El instalador descarga los binarios, crea el usuario de sistema ollama, configura un servicio systemd con arranque automático y detecta el hardware gráfico NVIDIA.
Asegúrate de tener suficiente VRAM antes de descargar modelos grandes. Mistral 12B requiere ~8GB VRAM en cuantización Q4.
Por defecto, Ollama solo escucha en 127.0.0.1. Para que el contenedor Open WebUI o dispositivos de la red puedan conectarse, hay que cambiar el bind address:
Open WebUI es la interfaz web que conecta con el backend de Ollama. Se despliega como contenedor Docker aislado con datos persistentes y se levanta automáticamente al reiniciar el equipo.
La interfaz queda disponible en http://localhost:8080. En el primer acceso se crea una cuenta de administrador local — ningún dato se envía a servidores externos.
Activo — Puerto 8080En el Panel de Administración → Ajustes → Conexiones, configura la URL de Ollama:
Open WebUI soporta múltiples cuentas de usuario. Cada usuario puede tener conversaciones independientes, sus propios archivos (RAG) y configuraciones personalizadas.
Para la generación de imágenes se usa ComfyUI, una interfaz basada en nodos altamente modular, junto con el modelo Flux.1 en versión cuantizada (GGUF) para optimizar el uso de VRAM.
El modelo Flux.1 Dev original es demasiado grande para caber en muchas configuraciones. Se utiliza la versión cuantizada Q4_K_S (6.81 GB) desde HuggingFace, que reduce el consumo de VRAM sin pérdida de calidad perceptible.
El tiempo de generación varía según la resolución y los pasos de muestreo. En una RTX 4060 Ti 16GB, una imagen de 1024×1024 tarda aproximadamente 60 segundos.
Con todos los componentes instalados, el ecosistema de IA queda completamente operativo en la red local. Cualquier dispositivo conectado a la misma red (incluido el móvil) puede acceder a la interfaz de chat y generación de imágenes.
Open WebUI en http://[IP-LOCAL]:8080 — Selecciona Mistral, Llama u otro modelo instalado. Sube documentos PDF o imágenes para activar capacidades RAG.
ComfyUI en http://[IP-LOCAL]:8188 — Configura el workflow con Flux.1 GGUF, CLIP/T5 y VAE. Escribe el prompt en inglés para mejores resultados.
Conecta el móvil a la misma WiFi y accede con la IP del servidor. Crea una cuenta de usuario en Open WebUI para tener tu propio historial de conversaciones.
El sistema está 100% operativo en local. Sin API keys, sin costes recurrentes, sin envío de datos a terceros. La privacidad es la característica principal, no un extra.