Cómo alojar PrivateGPT en un VPS

Por qué autoalojar PrivateGPT en un VPS

Beneficios concretos del autoalojamiento

• Confidencialidad total: documentos, embeddings e índice Qdrant nunca salen del VPS
• Respuestas con fuentes: cada respuesta se apoya en los pasajes encontrados en sus archivos, no en la memoria general del modelo
• Ningún coste de API si el modelo se ejecuta localmente con Ollama o llama.cpp
• Ingesta de PDF, DOCX, PPTX, EPUB, CSV, Markdown, archivos de correo .mbox e incluso imágenes o audio, organizados en colecciones
• API de tipo Messages (calcada de la especificación de la API de Anthropic) para conectar PrivateGPT con sus herramientas internas
• Cumplimiento más sencillo para datos sensibles (RGPD, secreto profesional): ningún encargado de IA adicional

PrivateGPT y Ollama: dos papeles complementarios

PrivateGPT frente a Ollama: quién hace qué

Desplace la tabla

Requisitos de hardware y software

Lista de comprobación antes de la instalación

• VPS con 8 GB de RAM como mínimo (16 GB para un modelo de 9 mil millones de parámetros) y 4 vCPU
• Debian 12 o Ubuntu 24.04 actualizados, acceso SSH con sudo
• Docker instalado (docker version responde) o, en su defecto, uv con Python 3.11
• 30 GB de disco libre, NVMe preferiblemente, para los modelos y local_data/
• Un subdominio (por ejemplo docs.su-dominio.com) que apunte a la IP del VPS
• Cortafuegos activo: solo SSH, 80 y 443 abiertos; los puertos 8080 y 11434 siguen cerrados

Despliegue de PrivateGPT en modo local

1. 01

   Instalar Ollama y descargar los modelos

   Instale Ollama con el script oficial y descargue después un LLM adaptado a CPU y el modelo de embeddings recomendado:

   curl -fsSL https://ollama.com/install.sh | sh
   ollama pull qwen3.5:4b
   ollama pull mxbai-embed-large

   Por defecto, Ollama solo escucha en 127.0.0.1:11434: déjelo así, solo PrivateGPT necesita alcanzarlo. Es el único paso que requiere Internet; una vez instalados los modelos, la inferencia se realiza sin conexión.

2. 02

   Lanzar PrivateGPT con Docker

   La imagen oficial zylonai/private-gpt incluye el paquete core. En Linux, el contenedor debe compartir la red del host para llegar a Ollama en localhost, y un volumen debe conservar los datos; de lo contrario, los documentos ingeridos desaparecen al reiniciar:

   mkdir -p /opt/privategpt/local_data
   docker run -d --name privategpt --restart unless-stopped \
     --network host \
     -e OPENAI_API_BASE=http://localhost:11434/v1 \
     -v /opt/privategpt/local_data:/home/worker/app/local_data \
     zylonai/private-gpt:latest

   Al arrancar, PrivateGPT consulta GET /v1/models en Ollama y registra automáticamente los modelos encontrados: no hace falta ningún archivo de configuración. La variable OPENAI_EMBEDDING_API_BASE solo es útil si sus embeddings se sirven en otro lugar.

3. 03

   Ingerir sus documentos por colección

   Envíe sus archivos a la API de ingesta agrupándolos por colección, por ejemplo una colección por expediente de cliente o por departamento:

   curl -X POST http://localhost:8080/v1/artifacts/ingest \
     -F "file=@/srv/documents/contrat-cession.pdf" \
     -F "collection=juridico"
   curl "http://localhost:8080/v1/artifacts/list?collection=juridico"

   PrivateGPT divide, vectoriza e indexa cada archivo en Qdrant. Los formatos sin lector dedicado se leen como texto plano.

4. 04

   Consultar el corpus con citas

   Pruebe primero en el Workbench (http://localhost:8080/ui) y conecte después sus herramientas a la API Messages. La búsqueda documental pasa por la herramienta integrada semantic_search_v1, restringida a una colección:

   curl http://localhost:8080/v1/messages \
     -H "Content-Type: application/json" \
     -d '{"model": "qwen3.5:4b",
          "messages": [{"role": "user", "content": "¿Cuáles son las condiciones suspensivas del contrato?"}],
          "tools": [{"name": "buscar_docs", "type": "semantic_search_v1",
                     "context": [{"type": "ingested_artifact", "context_filter": {"collection": "juridico"}}]}]}'

5. 05

   Configurar el proxy inverso, el SSL y la autenticación

   El Workbench no tiene ningún control de acceso: la documentación lo reserva a un uso local. Expóngalo únicamente detrás de Nginx o Caddy, con un certificado Let's Encrypt y una autenticación básica:

   server {
       listen 443 ssl;
       server_name docs.su-dominio.com;
       ssl_certificate     /etc/letsencrypt/live/docs.su-dominio.com/fullchain.pem;
       ssl_certificate_key /etc/letsencrypt/live/docs.su-dominio.com/privkey.pem;
       auth_basic           "Acceso restringido";
       auth_basic_user_file /etc/nginx/.htpasswd;
       location / { proxy_pass http://127.0.0.1:8080; }
   }

   Si solo lo usan dos o tres personas, un túnel SSH (ssh -L 8080:127.0.0.1:8080 user@su-vps) evita incluso cualquier exposición pública.

6. 06

   Bloquear el acceso

   PrivateGPT escucha por defecto en 0.0.0.0, de modo que la red del host publica el puerto 8080 en todas las interfaces. Ciérrelo en el cortafuegos para dejar accesible solo el proxy inverso:

   ufw default deny incoming
   ufw allow OpenSSH
   ufw allow 80,443/tcp
   ufw enable

   Sus usuarios pasan entonces por https://docs.su-dominio.com y consultan el corpus en lenguaje natural.

Hacer copias de seguridad y comprobar que ningún dato sale

ss -tnp state established

Solución de problemas: los errores más frecuentes