LocalAI

À propos de LocalAI

Ce qui est installé

Prêt au démarrage du VPS

OS compatibles

Ubuntu 24.04

Application

LocalAI

Stack technique

DockerGollama.cpp

RAM minimum

2 Go (4 Go recommandé pour les modèles de 7 milliards de paramètres et plus)

CPU minimum

2 vCPU (4 vCPU recommandé)

Port par défaut

8080

Accès

root par SSH

Fonctionnalités clés

• API REST compatible OpenAI — remplacement direct, compatible sans retouche avec les SDK LangChain, LlamaIndex et LiteLLM.
• Inférence sur processeur — tourne sur n'importe quel VPS sans GPU grâce à llama.cpp, avec des chemins SIMD optimisés pour Intel et ARM.
• Plus de 200 modèles pris en charge — Llama 3, Mistral, Phi-3, Qwen 2.5, DeepSeek, Gemma 2, Falcon, et tout modèle au format GGUF.
• Multimodal : génération de texte, appel de fonctions et d'outils, embeddings, génération d'images (Stable Diffusion) et transcription audio (Whisper).
• Téléchargement d'un modèle par son nom — curl http://127.0.0.1:8080/models/apply -d '{"id":"llama-3.2-3b-instruct:q4_0"}' récupère et active n'importe quel modèle pris en charge.
• Licence MIT — entièrement auditable, sans télémétrie, utilisable coupé d'Internet ; la version 4.6.2, publiée le 6 juillet 2026, ajoute le mode grappe distribuée et un routage tenant compte du cache de préfixes.
• Composable avec LiteLLM et Open WebUI — LocalAI fournit la couche d'inférence, LiteLLM ajoute le routage multi-fournisseurs, Open WebUI apporte l'interface de discussion.

Quand utiliser cette solution ?

Guide

Déployer LocalAI sur votre VPS

1. 1

   Créer le VPS

   Commandez un VPS ServOrbit avec au moins 2 Go de RAM ; le système installé est Ubuntu 24.04. Pour un usage confortable à plusieurs, ou pour des modèles à partir de 7 milliards de paramètres, 4 Go sont recommandés. Le nombre de cœurs compte pour la vitesse : 4 vCPU réduisent sensiblement la latence de génération sur les modèles de 3 à 7 milliards de paramètres.

2. 2

   Déployer LocalAI

   L'installation depuis votre espace client crée le conteneur localai/localai:latest, une image d'environ 900 Mo, monte le volume local-ai sur /build/models et publie le serveur d'API compatible OpenAI sur la boucle locale, en 127.0.0.1:8080. Aucun modèle n'est fourni : la première demande portant sur un modèle déclenche son téléchargement dans le volume persistant.

3. 3

   Se connecter la première fois

   LocalAI s'ouvre sans aucun identifiant : votre première action consiste à passer par la galerie de modèles pour en télécharger un, l'installation n'en fournissant aucun. L'API compatible OpenAI répond à la même adresse et n'est protégée par aucune clé — tant que le service n'écoute que sur la boucle locale, seuls les utilisateurs disposant d'un accès SSH au VPS peuvent l'atteindre.

4. 4

   Télécharger un modèle

   Un seul appel d'API suffit : curl http://127.0.0.1:8080/models/apply -H 'Content-Type: application/json' -d '{"id":"llama-3.2-3b-instruct:q4_0"}'. LocalAI récupère le fichier GGUF et enregistre le modèle. La quantisation Q4 d'un modèle de 3 milliards de paramètres tient dans 2 Go de RAM ; celle d'un modèle de 7 milliards en réclame environ 4.

5. 5

   Passer votre premier appel d'API

   Testez l'API depuis le VPS : curl http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"model":"llama-3.2-3b-instruct:q4_0","messages":[{"role":"user","content":"Bonjour !"}]}'. La réponse a exactement la forme de celle d'OpenAI : changer l'URL de base dans votre code existant suffit à le faire fonctionner.

6. 6

   Brancher vos applications sur LocalAI

   Depuis le VPS lui-même, réglez base_url='http://127.0.0.1:8080/v1' et api_key='not-needed' dans n'importe quel SDK OpenAI — c'est le cas d'usage normal, l'application qui consomme LocalAI tournant sur la même machine. Depuis votre poste, ouvrez un tunnel SSH — ssh -L 8080:127.0.0.1:8080 root@<ip-du-vps> — et visez http://localhost:8080/v1. Le port peut être réattribué à l'installation : reprenez celui affiché sur la fiche de l'application dans votre espace client, 8080 n'étant que la valeur du catalogue. Dans LangChain, cela donne ChatOpenAI(base_url=..., api_key='x') ; dans LiteLLM, préfixez le modèle par localai/ ; dans Open WebUI, déclarez une connexion OpenAI avec cette même URL de base. Votre code existant n'a besoin d'aucune autre modification.

7. 7

   Protéger le point d'entrée

   LocalAI est ouvert par défaut : aucune clé n'est exigée. L'application sait en réclamer une par la variable d'environnement LOCALAI_API_KEY, mais l'installation du catalogue n'en pose pas — le point d'entrée est donc non authentifié, et c'est pour cette raison qu'il n'est pas publié derrière un domaine : un moteur d'inférence ouvert sur Internet, c'est votre GPU et votre facture à la disposition de qui le trouve. Pour exposer une API publique, publiez à la place une passerelle qui authentifie — LiteLLM par exemple — et laissez LocalAI derrière elle, sur la boucle locale.