LiteLLM

LiteLLM es un proxy de LLM de código abierto (licencia Apache 2.0) que presenta una API unificada, compatible con OpenAI, delante de más de cien proveedores de modelos. La diferencia con Ollama y LocalAI es estructural: estos dos ejecutan los modelos, LiteLLM no ejecuta ninguno. Se sitúa delante de ellos y arbitra — cada solicitud parte hacia el Ollama instalado en el mismo VPS, hacia Anthropic Claude, hacia Azure OpenAI o hacia cualquier otro motor declarado, sin que cambie una sola línea de su aplicación. Es además el único de los tres componentes de inferencia del catálogo que aporta una capa de administración: interfaz web, claves virtuales, topes de gasto y límites de velocidad por clave.

Desplegado en un VPS ServOrbit, LiteLLM ofrece a su equipo una pasarela de IA privada con un panel de uso integrado. Funciona en dos contenedores — la pasarela Python y una base de datos PostgreSQL 16 que conserva las claves, los registros de solicitudes y los contadores de gasto — y el servicio solo se publica en el bucle local del VPS. Por eso esta aplicación requiere un dominio: es a través de `https://<su-dominio>` como sus desarrolladores y sus aplicaciones la alcanzan, ya que ServOrbit instala el vhost de nginx y el certificado TLS en cuanto el dominio queda asociado. LiteLLM se coloca igual de bien delante de un Ollama local, para una inferencia totalmente sin conexión, que delante de API comerciales, para centralizar el seguimiento de los costos de todos sus proyectos.