Whisper on premise sur VPS : guide complet 2026

Pourquoi auto-héberger Whisper on premise sur un VPS

Les bénéfices concrets de l'auto-hébergement

• Confidentialité totale : vos fichiers audio ne transitent jamais par un tiers
• Coût maîtrisé : une transcription de 60 min coûte quelques centimes de CPU, pas de facturation à la minute
• API privée exposée uniquement derrière votre reverse proxy, protégée par clé ou JWT
• Disponibilité 24/7 sans dépendance à la politique tarifaire d'OpenAI
• Choix du modèle selon vos contraintes RAM : de 1 Go (tiny) à 10 Go (large-v3)
• Conformité RGPD facilitée : traitement dans votre datacenter, pas chez un sous-traitant américain

Prérequis matériels et logiciels

Choisir son modèle Whisper : comparatif RAM, vitesse et précision

Modèles Whisper disponibles

Faites défiler le tableau

Le modèle small est l'idéal compromis pour un VPS 4 Go sans GPU. large-v3-turbo offre une qualité proche de large-v3 à 5× la vitesse, pour un VPS 8 Go.

Whisper.cpp : l'alternative CPU-only sans CUDA

Déploiement Docker pas à pas (openai-whisper-asr-webservice v1.10.0)

1. 01

   Préparer le serveur

   Installez Docker Engine et Docker Compose : curl -fsSL https://get.docker.com | sh && sudo usermod -aG docker $USER. Ouvrez le port 9000 en local uniquement : ufw deny 9000/tcp (l'API sera accessible via reverse proxy).

2. 02

   Créer le répertoire de travail

   mkdir -p ~/whisper && cd ~/whisper

3. 03

   Rédiger le docker-compose.yml

   services:
     whisper:
       image: onerahmet/openai-whisper-asr-webservice:latest
       restart: unless-stopped
       ports:
         - "127.0.0.1:9000:9000"
       environment:
         - ASR_MODEL=small          # tiny | base | small | medium | large-v3
         - ASR_ENGINE=faster_whisper
         - ASR_MODEL_PATH=/data/models
       volumes:
         - ./models:/data/models
       # Pour GPU : remplacez l'image par :latest-gpu et ajoutez :
       # deploy:
       #   resources:
       #     reservations:
       #       devices:
       #         - capabilities: [gpu]

4. 04

   Choisir le modèle et lancer

   Remplacez ASR_MODEL=small par le modèle correspondant à votre RAM (voir tableau ci-dessus). Puis : docker compose up -d. Au premier démarrage, Whisper télécharge automatiquement les poids du modèle dans le volume ./models (~250 Mo pour small, ~3 Go pour large-v3).

5. 05

   Vérifier que l'API est opérationnelle

   curl http://127.0.0.1:9000/docs
   # → interface Swagger ; ou tester une transcription :
   curl -F "[email protected]" http://127.0.0.1:9000/asr?encode=true&task=transcribe&language=fr

6. 06

   Configurer le reverse proxy Nginx

   location /whisper/ {
       proxy_pass http://127.0.0.1:9000/;
       proxy_set_header Authorization $http_authorization;
       # Bloquer l'accès sans clé API
       if ($http_x_api_key != "VOTRE_CLE_SECRETE") {
           return 403;
       }
   }

7. 07

   Protéger l'API par clé secrète

   N'exposez jamais l'API Whisper sans authentification (voir section sécurité). Générez une clé : openssl rand -hex 32. Ajoutez-la dans votre proxy et dans vos clients.

8. 08

   Tester une transcription via l'API sécurisée

   curl -H "X-Api-Key: VOTRE_CLE_SECRETE" \
     -F "[email protected]" \
     https://votre-domaine.com/whisper/asr?task=transcribe&language=fr

Intégration réelle : brancher Whisper à n8n ou Nextcloud Talk

Benchmarks CPU vs GPU sur VPS typique ServOrbit

Sécurité : ne jamais exposer l'API Whisper sans authentification

Règles de sécurité indispensables

• Liez le port Docker à 127.0.0.1 uniquement (127.0.0.1:9000:9000) — jamais 0.0.0.0:9000
• Protégez l'accès externe par une clé API dans le reverse proxy (header X-Api-Key)
• Ajoutez un rate-limit Nginx : limit_req_zone $binary_remote_addr zone=whisper:10m rate=10r/m pour éviter les abus
• Activez TLS sur votre domaine (Let's Encrypt) — ne transmettez jamais d'audio en clair sur le réseau
• Ne stockez pas les fichiers audio sur disque plus longtemps que nécessaire : configurez --tmpfs /tmp dans Docker
• Réservez l'endpoint à vos IPs internes si le service n'est accessible qu'en interne

Dépannage : erreurs fréquentes

Problèmes courants et solutions

• CUDA not found / RuntimeError: CUDA error : utilisez l'image :latest (CPU) au lieu de :latest-gpu, ou vérifiez que nvidia-container-toolkit est installé et que les pilotes CUDA ≥ 12 sont présents (nvidia-smi).
• Model not downloaded / FileNotFoundError : le volume ./models n'est pas monté correctement, ou le téléchargement initial a été interrompu. Supprimez le contenu de ./models et relancez docker compose up -d — Whisper re-télécharge automatiquement.
• OOMKilled / Out of memory : le modèle choisi dépasse la RAM disponible. Passez au modèle inférieur (medium → small, small → base) ou augmentez la RAM de votre VPS.
• 422 Unprocessable Entity sur /asr : le fichier audio doit être envoyé en multipart/form-data avec le champ nommé audio_file. Vérifiez aussi que encode=true est présent en query string pour les formats MP3/MP4.

Déployer Whisper depuis la Marketplace ServOrbit