Comment héberger PrivateGPT sur un VPS

Pourquoi self-héberger PrivateGPT sur un VPS

Bénéfices concrets de l'auto-hébergement

• Confidentialité totale : documents, embeddings et index Qdrant ne quittent jamais le VPS
• Réponses sourcées : chaque réponse s'appuie sur les passages retrouvés dans vos fichiers, pas sur la mémoire générale du modèle
• Aucun coût d'API si le modèle tourne localement via Ollama ou llama.cpp
• Ingestion de PDF, DOCX, PPTX, EPUB, CSV, Markdown, archives e-mail .mbox et même images ou audio, rangés par collections
• API de type Messages (calquée sur la spécification de l'API d'Anthropic) pour brancher PrivateGPT dans vos outils internes
• Conformité facilitée pour les données sensibles (RGPD, secret professionnel) : pas de sous-traitant IA supplémentaire

PrivateGPT et Ollama : deux rôles complémentaires

PrivateGPT vs Ollama : qui fait quoi

Faites défiler le tableau

Prérequis matériels et logiciels

Liste de contrôle avant l'installation

• VPS avec 8 Go de RAM minimum (16 Go pour un modèle de 9 milliards de paramètres) et 4 vCPU
• Debian 12 ou Ubuntu 24.04 à jour, accès SSH avec sudo
• Docker installé (docker version répond) ou, à défaut, uv avec Python 3.11
• 30 Go de disque libre, NVMe de préférence, pour les modèles et local_data/
• Un sous-domaine (par exemple docs.votre-domaine.com) pointant vers l'IP du VPS
• Pare-feu actif : seuls SSH, 80 et 443 ouverts, les ports 8080 et 11434 restent fermés

Déploiement de PrivateGPT en mode local

1. 01

   Installer Ollama et tirer les modèles

   Installez Ollama avec le script officiel, puis téléchargez un LLM adapté au CPU et le modèle d'embeddings recommandé :

   curl -fsSL https://ollama.com/install.sh | sh
   ollama pull qwen3.5:4b
   ollama pull mxbai-embed-large

   Par défaut, Ollama n'écoute que sur 127.0.0.1:11434 : laissez-le ainsi, seul PrivateGPT doit pouvoir le joindre. C'est la seule étape qui a besoin d'Internet ; une fois les modèles en place, l'inférence se fait hors ligne.

2. 02

   Lancer PrivateGPT avec Docker

   L'image officielle zylonai/private-gpt embarque le paquet core. Sur Linux, le conteneur doit partager le réseau de l'hôte pour atteindre Ollama sur localhost, et un volume doit conserver les données, sinon les documents ingérés disparaissent au redémarrage :

   mkdir -p /opt/privategpt/local_data
   docker run -d --name privategpt --restart unless-stopped \
     --network host \
     -e OPENAI_API_BASE=http://localhost:11434/v1 \
     -v /opt/privategpt/local_data:/home/worker/app/local_data \
     zylonai/private-gpt:latest

   Au démarrage, PrivateGPT interroge GET /v1/models sur Ollama et enregistre automatiquement les modèles trouvés : aucun fichier de configuration n'est requis. La variable OPENAI_EMBEDDING_API_BASE n'est utile que si vos embeddings sont servis ailleurs.

3. 03

   Ingérer vos documents par collection

   Envoyez vos fichiers à l'API d'ingestion en les regroupant par collection, par exemple une collection par dossier client ou par service :

   curl -X POST http://localhost:8080/v1/artifacts/ingest \
     -F "file=@/srv/documents/contrat-cession.pdf" \
     -F "collection=juridique"
   curl "http://localhost:8080/v1/artifacts/list?collection=juridique"

   PrivateGPT découpe, vectorise et indexe chaque fichier dans Qdrant. Les formats sans lecteur dédié sont lus comme du texte brut.

4. 04

   Interroger le corpus avec citations

   Testez d'abord dans le Workbench (http://localhost:8080/ui), puis branchez vos outils sur l'API Messages. La recherche documentaire passe par l'outil intégré semantic_search_v1, restreint à une collection :

   curl http://localhost:8080/v1/messages \
     -H "Content-Type: application/json" \
     -d '{"model": "qwen3.5:4b",
          "messages": [{"role": "user", "content": "Quelles sont les conditions suspensives du contrat ?"}],
          "tools": [{"name": "recherche_docs", "type": "semantic_search_v1",
                     "context": [{"type": "ingested_artifact", "context_filter": {"collection": "juridique"}}]}]}'

5. 05

   Mettre en place le reverse proxy, le SSL et l'authentification

   Le Workbench n'a aucun contrôle d'accès : la documentation le réserve à un usage local. Exposez-le uniquement derrière Nginx ou Caddy, avec un certificat Let's Encrypt et une authentification basique :

   server {
       listen 443 ssl;
       server_name docs.votre-domaine.com;
       ssl_certificate     /etc/letsencrypt/live/docs.votre-domaine.com/fullchain.pem;
       ssl_certificate_key /etc/letsencrypt/live/docs.votre-domaine.com/privkey.pem;
       auth_basic           "Accès restreint";
       auth_basic_user_file /etc/nginx/.htpasswd;
       location / { proxy_pass http://127.0.0.1:8080; }
   }

   Si seules deux ou trois personnes s'en servent, un tunnel SSH (ssh -L 8080:127.0.0.1:8080 user@votre-vps) évite même toute exposition publique.

6. 06

   Verrouiller l'accès

   PrivateGPT écoute par défaut sur 0.0.0.0, et le mode réseau hôte publie donc le port 8080 sur toutes les interfaces. Fermez-le au pare-feu pour ne laisser joignable que le reverse proxy :

   ufw default deny incoming
   ufw allow OpenSSH
   ufw allow 80,443/tcp
   ufw enable

   Vos utilisateurs passent alors par https://docs.votre-domaine.com et interrogent le corpus en langage naturel.

Sauvegarder et vérifier qu'aucune donnée ne sort

ss -tnp state established

Dépannage : les erreurs les plus fréquentes