LiteLLM

LiteLLM est un proxy LLM open source (licence Apache 2.0) qui présente une API unifiée, compatible OpenAI, devant plus de cent fournisseurs de modèles. La différence avec Ollama et LocalAI est structurelle : ces deux-là exécutent les modèles, LiteLLM n'en exécute aucun. Il se place devant eux et arbitre — chaque requête part vers l'Ollama installé sur le même VPS, vers Anthropic Claude, vers Azure OpenAI ou vers n'importe quel autre moteur déclaré, sans qu'une ligne de votre application change. C'est aussi la seule des trois briques d'inférence du catalogue à apporter une couche d'administration : interface web, clés virtuelles, plafonds de dépense et limites de débit par clé.

Déployé sur un VPS ServOrbit, LiteLLM donne à votre équipe une passerelle d'IA privée avec un tableau de bord d'usage intégré. Il tourne en deux conteneurs — la passerelle Python et une base PostgreSQL 16 qui conserve les clés, les journaux de requêtes et les compteurs de dépense — et le service n'est publié que sur la boucle locale du VPS. Cette application demande donc un domaine : c'est par `https://<votre-domaine>` que vos développeurs et vos applications l'atteignent, le vhost nginx et le certificat TLS étant installés par ServOrbit dès que le domaine est attaché. LiteLLM se pose aussi bien devant un Ollama local, pour une inférence entièrement hors ligne, que devant des API commerciales, pour centraliser le suivi des coûts de tous vos projets.