Pourquoi LiteLLM est la couche manquante des stacks d'IA auto-hébergées
Ollama est excellent pour faire tourner des modèles en local. Open WebUI l'habille d'une interface de chat. Mais dès que vous vous mettez à construire des applications — et plus seulement à discuter — il vous faut un intermédiaire : un proxy qui normalise la surface d'API, suit les coûts par projet et vous permet de changer de modèle sans toucher au code applicatif. C'est précisément le rôle de LiteLLM. Il s'intercale entre votre application et n'importe quel backend LLM, en exposant un unique endpoint compatible OpenAI. Votre code reste identique, que vous acheminiez les requêtes vers Llama 3.1 sur Ollama, Claude 3.5 Haiku ou GPT-4o.
Ce que LiteLLM vous apporte d'emblée
- API unifiée et compatible OpenAI — fonctionne avec tous les SDK, bibliothèques et outils qui ciblent l'API d'OpenAI.
- Plus de 100 intégrations de fournisseurs : Ollama, Anthropic, OpenAI, Azure OpenAI, Mistral, Cohere, Bedrock et bien d'autres.
- Clés d'API virtuelles avec limites de dépenses et de débit par clé — distribuez des clés aux équipes et plafonnez les coûts mensuels.
- Tableau de bord intégré sur /ui avec analyse des dépenses en temps réel, ventilation par modèle et journaux des requêtes.
- Répartition de charge et bascule automatique entre plusieurs endpoints de fournisseurs ou réplicas de modèles.
- Licence Apache 2.0 — aucune télémétrie, aucune remontée d'informations vers l'extérieur, entièrement compatible air-gap une fois associée à Ollama.
Prérequis
Au moins 1 Go de RAM et Ubuntu 22.04. Docker et le plugin Compose installés. Le port 4000 ouvert, ou un reverse proxy Caddy/Nginx pour le HTTPS. C'est tout — LiteLLM est lui-même un proxy Python qui réclame environ 256 Mo ; PostgreSQL absorbe l'essentiel du budget RAM restant. Pour des équipes générant du trafic concurrent, 2 Go sont plus confortables.
Déployer LiteLLM sur un VPS
Provisionner le VPS
Commandez un VPS Start (2 vCPU, 4 GB, Ubuntu 22.04) : LiteLLM se contente d'un gigaoctet, le plus petit plan du catalogue en sert le double. Connectez-vous en SSH et installez Docker :
curl -fsSL https://get.docker.com | sh. Le plugin Compose est inclus.Générer les secrets
Lancez
openssl rand -hex 32pour générer LITELLM_MASTER_KEY — elle déverrouille le tableau de bord et tous les endpoints d'API d'administration. Créez/opt/litellm/.envavec :LITELLM_MASTER_KEY,UI_USERNAME,UI_PASSWORD,DB_NAME=litellm,DB_USER=litellm,DB_PASSWORD=<strong-password>.Rédiger docker-compose.yml
Créez
/opt/litellm/docker-compose.ymlavec deux services :db(postgres:16-alpine, variables d'environnement issues du .env, volume litellm_db) etlitellm(ghcr.io/berriai/litellm:main-latest, port 4000:4000, depends_on db, DATABASE_URL + LITELLM_MASTER_KEY + UI_USERNAME + UI_PASSWORD, volume litellm_config:/app/data). Lancezdocker compose up -d.Ouvrir le tableau de bord
Rendez-vous sur
http://<vps-ip>:4000/uiet connectez-vous avec vos UI_USERNAME / UI_PASSWORD. Vous arrivez sur le tableau de bord de LiteLLM. Allez dans Models pour ajouter votre premier fournisseur. Pour une instance Ollama locale sur le même VPS, définissez le nom du modèle surollama/llama3.1et l'API base surhttp://host.docker.internal:11434. Pour Anthropic, collez votre clé d'API et ajoutezanthropic/claude-3-5-haiku-20241022.Tester la passerelle
Depuis votre poste de travail, testez :
curl http://<vps-ip>:4000/v1/chat/completions -H "Authorization: Bearer <LITELLM_MASTER_KEY>" -H 'Content-Type: application/json' -d '{"model": "ollama/llama3.1", "messages": [{"role": "user", "content": "Hello"}]}'. Vous devriez recevoir une réponse en streaming — acheminée par LiteLLM vers votre Ollama.Distribuer des clés d'API aux équipes
Dans le tableau de bord, sous API Keys, cliquez sur New Key. Donnez-lui une description (par exemple « frontend-team »), définissez
max_budget: 50(USD/mois) et untpm_limitfacultatif. Partagez cette clé avec l'équipe — elle pointe son SDK OpenAI vershttp://<vps-ip>:4000et utilise cette clé. Les dépenses sont suivies par clé dans le tableau de bord.Ajouter le HTTPS avec Caddy
Installez Caddy :
apt install -y caddy. Éditez/etc/caddy/Caddyfile:llm.votre-domaine.com { reverse_proxy localhost:4000 }. Rechargez :systemctl reload caddy. Fermez le port 4000 dans votre pare-feu — tout le trafic passe désormais par le 443 avec TLS automatique.Se connecter la première fois
Ouvrez l'interface d'administration sur /ui : LiteLLM affiche un formulaire identifiant/mot de passe. Saisissez admin et le mot de passe fourni, puis créez vos clés virtuelles depuis le tableau de bord.
Associez LiteLLM à Ollama sur le même VPS pour une stack d'IA entièrement isolée (air-gap). Ollama assure l'inférence des modèles ; LiteLLM ajoute la couche passerelle — acheminement, limitation de débit et suivi de la consommation. Pour les charges de travail sensibles en matière de confidentialité (juridique, finance, médical), cela signifie qu'aucune donnée ne quitte votre infrastructure.
La documentation officielle
Pour la configuration avancée et les options propres à l'outil, référez-vous à la documentation officielle de LiteLLM. Ce guide couvre la mise en ligne sur VPS ; la doc éditeur reste la référence pour les réglages fins, les mises à jour majeures et les cas d'usage spécifiques.
