Por qué autoalojar PrivateGPT en un VPS
PrivateGPT está diseñado en torno al RAG (Retrieval-Augmented Generation): ingiere sus documentos, los divide en fragmentos, calcula embeddings almacenados en una base vectorial (Qdrant por defecto) y después responde a las preguntas apoyándose únicamente en ese corpus. Su argumento central es la confidencialidad: en modo local, el LLM y los embeddings se ejecutan en la máquina y ninguna consulta sale de ella. En un VPS dedicado obtiene un asistente documental de empresa seguro, aislado del equipo de cada persona, con una base de conocimiento centralizada que todo el equipo consulta, sin exponer jamás contratos, expedientes de RR. HH. o documentos jurídicos a un servicio en la nube.
Beneficios concretos del autoalojamiento
- Confidencialidad total: los documentos y los embeddings nunca salen del VPS
- Base vectorial Qdrant centralizada, consultable por todo el equipo en un mismo lugar
- Ningún coste de API si utiliza un LLM local mediante Ollama o llama.cpp
- Ingesta de PDF, DOCX, correos y páginas web en un corpus único y privado
- API compatible con OpenAI para conectar PrivateGPT a sus herramientas internas
- Cumplimiento más sencillo para los datos sensibles (RGPD, secreto profesional)
Requisitos de hardware y software
PrivateGPT en modo totalmente local exige más recursos que otras herramientas, porque ejecuta a la vez el modelo de embeddings y el LLM de generación. Cuente con 8 GB de RAM como mínimo (16 GB recomendados) y 4 vCPU para un modelo 7B cuantizado, más 20 GB de disco para los modelos, la base Qdrant y los documentos ingeridos. Si delega el LLM en un Ollama en el mismo VPS, dimensione la RAM en consecuencia. En cuanto al software: Docker y Docker Compose, Python 3.11 si lo instala fuera de contenedor, y un dominio apuntando al VPS para exponer la interfaz Gradio y la API.
Despliegue de PrivateGPT en modo local
Preparar el VPS
Instale Docker y clone el repositorio:
git clone https://github.com/zylon-ai/private-gpt && cd private-gpt. Cree un volumen persistente para los datos ingeridos y la base Qdrant, de modo que sobrevivan a los redespliegues.Elegir el perfil de ejecución
PrivateGPT funciona por perfiles. Para un despliegue 100% local con Ollama, arranque Ollama y después descargue los modelos:
ollama pull mistralpara la generación yollama pull nomic-embed-textpara los embeddings.Configurar los ajustes y lanzar
Active el perfil ollama en
settings.yamly arranque conPGPT_PROFILES=ollama make runo mediante el compose incluido. Compruebe en los logs que la conexión con Ollama y con Qdrant está establecida.Ingerir sus documentos
Deposite sus archivos en la carpeta de ingesta y ejecute
make ingest /ruta/a/docs. PrivateGPT divide, vectoriza e indexa el corpus en Qdrant. Siga el avance en los logs hasta la indexación completa.Poner en marcha el reverse proxy y el SSL
Exponga la interfaz Gradio (puerto 8001) tras Caddy o Nginx con un certificado Let's Encrypt automático. Añada una autenticación HTTP básica, ya que la interfaz no ofrece ninguna de forma nativa.
Bloquear el acceso
Cierre el puerto 8001 en el cortafuegos para dejar accesible únicamente el reverse proxy. Sus usuarios acceden a
https://docs.sudominio.comy consultan el corpus en lenguaje natural.
El perfil por defecto descarga modelos pesados. Para un VPS CPU, traslade el LLM y los embeddings a Ollama (mistral + nomic-embed-text) en lugar de usar los bindings de llama.cpp compilados en local: evita las largas compilaciones, comparte la memoria con otros contenedores y gana en estabilidad durante los reinicios.
