LocalAI

Acerca de LocalAI

Lo que se instala

Listo al arrancar el VPS

SO compatibles

Ubuntu 24.04

Aplicación

LocalAI

Stack técnico

DockerGollama.cpp

RAM mínima

2 GB (4 GB recomendado para los modelos de 7 mil millones de parámetros y más)

CPU mínima

2 vCPU (4 vCPU recomendado)

Puerto por defecto

8080

Acceso

root por SSH

Funcionalidades clave

• API REST compatible con OpenAI — sustitución directa, compatible sin retoques con los SDK de LangChain, LlamaIndex y LiteLLM.
• Inferencia en el procesador — funciona en cualquier VPS sin GPU gracias a llama.cpp, con rutas SIMD optimizadas para Intel y ARM.
• Más de 200 modelos compatibles — Llama 3, Mistral, Phi-3, Qwen 2.5, DeepSeek, Gemma 2, Falcon y cualquier modelo en formato GGUF.
• Multimodal: generación de texto, llamada a funciones y herramientas, embeddings, generación de imágenes (Stable Diffusion) y transcripción de audio (Whisper).
• Descarga de un modelo por su nombre — curl http://127.0.0.1:8080/models/apply -d '{"id":"llama-3.2-3b-instruct:q4_0"}' obtiene y activa cualquier modelo compatible.
• Licencia MIT — totalmente auditable, sin telemetría, utilizable sin conexión a Internet; la versión 4.6.2, publicada el 6 de julio de 2026, añade el modo de clúster distribuido y un enrutamiento que tiene en cuenta la caché de prefijos.
• Componible con LiteLLM y Open WebUI — LocalAI aporta la capa de inferencia, LiteLLM añade el enrutamiento multiproveedor y Open WebUI aporta la interfaz de chat.

¿Cuándo usar esta solución?

Guía

Desplegar LocalAI en su VPS

1. 1

   Crear el VPS

   Pida un VPS ServOrbit con al menos 2 GB de RAM; el sistema instalado es Ubuntu 24.04. Para un uso cómodo entre varias personas, o para modelos a partir de 7 mil millones de parámetros, se recomiendan 4 GB. El número de núcleos cuenta para la velocidad: 4 vCPU reducen notablemente la latencia de generación en los modelos de 3 a 7 mil millones de parámetros.

2. 2

   Desplegar LocalAI

   La instalación desde su área de cliente crea el contenedor localai/localai:latest, una imagen de unos 900 MB, monta el volumen local-ai en /build/models y publica el servidor de API compatible con OpenAI en el bucle local, en 127.0.0.1:8080. No se incluye ningún modelo: la primera solicitud que nombre un modelo desencadena su descarga en el volumen persistente.

3. 3

   Conectarse por primera vez

   LocalAI se abre sin ninguna credencial: su primera acción consiste en pasar por la galería de modelos para descargar uno, ya que la instalación no proporciona ninguno. La API compatible con OpenAI responde en la misma dirección y no está protegida por ninguna clave — mientras el servicio solo escuche en el bucle local, únicamente los usuarios que dispongan de acceso SSH al VPS pueden alcanzarla.

4. 4

   Descargar un modelo

   Basta con una sola llamada a la API: curl http://127.0.0.1:8080/models/apply -H 'Content-Type: application/json' -d '{"id":"llama-3.2-3b-instruct:q4_0"}'. LocalAI obtiene el archivo GGUF y registra el modelo. La cuantización Q4 de un modelo de 3 mil millones de parámetros cabe en 2 GB de RAM; la de un modelo de 7 mil millones necesita unos 4.

5. 5

   Hacer su primera llamada a la API

   Pruebe la API desde el VPS: curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"llama-3.2-3b-instruct:q4_0","messages":[{"role":"user","content":"¡Hola!"}]}'. La respuesta tiene exactamente la forma de la de OpenAI: cambiar la URL base en su código existente basta para que funcione.

6. 6

   Conectar sus aplicaciones a LocalAI

   Desde el propio VPS, configure base_url='http://127.0.0.1:8080/v1' y api_key='not-needed' en cualquier SDK de OpenAI — es el caso normal, ya que la aplicación que consume LocalAI se ejecuta en la misma máquina. Desde su equipo, abra un túnel SSH — ssh -L 8080:127.0.0.1:8080 root@<ip-del-vps> — y apunte a http://localhost:8080/v1. El puerto puede reasignarse durante la instalación: use el que aparece en la ficha de la aplicación en su área de cliente, ya que 8080 es solo el valor del catálogo. En LangChain, eso da ChatOpenAI(base_url=..., api_key='x'); en LiteLLM, anteponga localai/ al modelo; en Open WebUI, declare una conexión OpenAI con esa misma URL base. Su código existente no necesita ninguna otra modificación.

7. 7

   Proteger el endpoint

   LocalAI está abierto por defecto: no se exige ninguna clave. La aplicación sabe reclamar una mediante la variable de entorno LOCALAI_API_KEY, pero la instalación del catálogo no establece ninguna — el endpoint no está autenticado, y precisamente por eso nunca se publica tras un dominio: un motor de inferencia abierto a Internet es su procesador y su factura a disposición de quien lo encuentre. Para exponer una API pública, publique en su lugar una pasarela que autentique — LiteLLM por ejemplo — y deje LocalAI detrás de ella, en el bucle local.