Ollama

À propos de Ollama

Ce qui est installé

Prêt au démarrage du VPS

OS compatibles

Ubuntu 24.04

Application

Ollama

Stack technique

DockerGollama.cpp

RAM minimum

8 Go minimum (16 Go recommandé)

CPU minimum

2 vCPU

Port par défaut

11434

Accès

root par SSH

Fonctionnalités clés

• API compatible OpenAI — changez l'URL de base et votre code existant fonctionne immédiatement
• Gestion des modèles en une commande : ollama pull llama3.1:8b, ollama list, ollama rm
• Llama 3, Mistral, Qwen, DeepSeek, Gemma, Phi et plus d'une centaine d'autres modèles
• Fonctionne sans carte graphique ; le passage à un GPU accélère nettement l'inférence quand la machine en dispose
• Serveur multi-modèles : plusieurs modèles chargés en parallèle, chacun avec son propre contexte
• Modèles conservés dans un volume Docker — ils survivent au redémarrage du conteneur

Quand utiliser cette solution ?

Guide

Déployer Ollama sur votre VPS

1. 1

   Créer le VPS

   Commandez un VPS ServOrbit avec au moins 8 Go de RAM pour un modèle de 7 à 8 milliards de paramètres quantisé en Q4 sur processeur, 16 Go pour des modèles plus gros. Le système installé est Ubuntu 24.04. Pour des temps de réponse dignes de la production, un serveur doté d'un GPU change nettement l'expérience.

2. 2

   Déployer Ollama

   L'installation, à la création du VPS ou plus tard depuis votre espace client, crée le conteneur ollama/ollama, monte le volume ollama sur /root/.ollama pour que les modèles survivent aux redémarrages, et publie le service sur la boucle locale, en 127.0.0.1:11434. Rien n'est exposé sur Internet à ce stade : c'est volontaire, Ollama n'ayant aucune authentification.

3. 3

   Se connecter la première fois

   Ollama n'a pas d'écran de connexion : c'est une API HTTP doublée d'une ligne de commande. En SSH sur le VPS, lancez docker exec -it ollama ollama pull llama3 puis docker exec -it ollama ollama run llama3. Branchez ensuite une interface, Open WebUI par exemple, plutôt que d'exposer l'API telle quelle.

4. 4

   Télécharger votre premier modèle

   Récupérez un modèle avec docker exec -it ollama ollama pull llama3.1:8b, vérifiez qu'il est bien enregistré avec docker exec -it ollama ollama list, puis testez depuis le VPS : curl http://127.0.0.1:11434/api/generate -d '{"model":"llama3.1:8b","prompt":"Bonjour"}'.

5. 5

   Tenir compte de l'absence d'authentification

   Ollama ne demande aucun identifiant et ne connaît pas la notion de clé d'API : quiconque atteint le service peut interroger vos modèles et en télécharger d'autres. C'est pour cela que ServOrbit ne lui attache pas de domaine — le chiffrement d'un vhost protégerait le transport, il n'identifierait personne. Deux usages tiennent debout : travailler par tunnel SSH, ou placer devant Ollama une passerelle qui authentifie, LiteLLM par exemple, et ne publier que celle-ci.

6. 6

   Brancher vos outils

   Dans Open WebUI, Settings puis Connections, indiquez http://localhost:11434. Depuis un SDK OpenAI qui tourne sur le VPS lui-même, réglez base_url='http://127.0.0.1:11434/v1' et api_key='ollama'. Depuis une autre machine, il n'existe aucun point d'entrée public : ouvrez un tunnel SSH avec ssh -L 11434:127.0.0.1:11434 root@<ip-du-vps> puis visez http://localhost:11434/v1. Le port peut être réattribué à l'installation : reprenez celui affiché sur la fiche de l'application dans votre espace client, 11434 n'étant que la valeur du catalogue.