Ollama

Ollama es un motor de inferencia de código abierto que descarga y sirve grandes modelos de lenguaje — Llama 3, Mistral, Qwen, DeepSeek, Gemma — en su propia infraestructura, con un solo comando. Expone una API REST compatible con OpenAI: cualquier herramienta o biblioteca que sepa hablar con OpenAI habla con su instancia autoalojada sin que cambie una sola línea de código. Lo que lo distingue de los otros dos componentes de inferencia del catálogo tiene que ver con su alcance: Ollama hace una sola cosa, servir modelos de texto, y la vuelve trivial — la gestión de los modelos se reduce a `ollama pull`, `ollama list` y `ollama rm`, sobre una biblioteca de más de un centenar de modelos listos para usar. LocalAI abarca más y añade imágenes, transcripción y embeddings desde el mismo contenedor; LiteLLM, por su parte, no calcula nada: es una pasarela que enruta hacia Ollama y hacia proveedores remotos.

Desplegado en un VPS ServOrbit, Ollama se convierte en su motor de inferencia privado: peticiones ilimitadas a un coste mensual fijo, con prompts y respuestas que nunca salen de su servidor. Ollama no tiene ni interfaz web ni autenticación: por eso su puerto nunca se publica tras un dominio y permanece ligado al bucle local de la máquina — el código que se ejecuta en ese mismo VPS llama a `http://127.0.0.1:11434`, y desde otra máquina hace falta un túnel SSH. Ollama no tiene ni interfaz web ni autenticación: asócielo a Open WebUI para disponer de una interfaz de conversación, a LiteLLM para añadir claves y cuotas, o a n8n y Flowise para la automatización.