Quelle est la différence entre LocalExecutor et CeleryExecutor ?

LocalExecutor exécute les tâches en parallèle dans des processus sur le même serveur que le scheduler — idéal pour des centaines de tâches par jour sur un seul VPS, sans Redis. CeleryExecutor distribue les tâches sur plusieurs workers distants — nécessaire pour des milliers de tâches concurrentes ou plusieurs serveurs. Pour un usage courant sur un VPS ServOrbit, LocalExecutor est la recommandation.

De combien de RAM Airflow a-t-il besoin ?

En mode LocalExecutor, comptez 1 à 2 Go de RAM au repos (webserver + scheduler + PostgreSQL). Pour des DAG Python chargeant pandas ou de gros fichiers, prévoyez 4 Go afin d'avoir de la marge pour les processus de tâches. Le mode CeleryExecutor — avec workers et Redis — réclame 4 à 8 Go selon le nombre de workers.

Automatiser les processus métier.

Apache Airflow

Orchestrateur DAG Python self-hosted — ETL, pipelines data et planification avec 600+ providers sur votre VPS.

4 Go RAM 2 vCPU Port 8080 En validation

En validation

L'installation automatique de cette solution est prête et passe actuellement nos tests sur serveur réel. La commande ouvrira dès que la validation sera terminée.

Code source

Stack technique

DockerPython 3.12PostgreSQL 16

RAM minimum4 Go

CPU minimum2 vCPU

Port par défaut8080

OS compatiblesDistributions Linux au choix

Apache Airflow est la référence open source pour orchestrer des pipelines de données sous forme de DAG écrits en Python. Chaque DAG est un fichier .py qui définit des tâches, leurs dépendances et leur planification. Le scheduler les détecte automatiquement, exécute les tâches et expose une interface web complète pour surveiller les exécutions, inspecter les logs et gérer les connexions.

Déployé sur un VPS ServOrbit avec LocalExecutor, Airflow démarre trois conteneurs — webserver, scheduler et PostgreSQL — sans Celery ni Redis. Cette pile allégée consomme environ 1 à 2 Go de RAM au repos, largement accessible sur un VPS de milieu de gamme, tout en supportant des centaines de tâches par jour. Vos DAG s'exécutent au plus près de vos bases de données internes et vos API, et toutes les métadonnées de pipeline restent sur votre infrastructure.

Fonctionnalités clés

DAG en Python versionnés dans Git — tâches, dépendances et planifications dans un seul fichier .py

600+ packages providers — SQL, cloud (AWS, GCP, Azure), dbt, Spark, HTTP et plus

Scheduler robuste — cron, dépendances entre tâches, backfill et catchup

Interface web complète — graphe du DAG, logs des tâches, historique des exécutions et gestion des variables

Mode LocalExecutor — 3 conteneurs (webserver + scheduler + PostgreSQL), sans Celery/Redis

Licence Apache-2.0 — 36 k+ étoiles GitHub, communauté active, sans vendor lock-in

Quand utiliser cette solution ?

1

ETL et pipelines de données

Décrivez vos traitements d'ingestion, de transformation et d'export de données sous forme de DAG Python. Airflow gère la planification, les relances, la résolution des dépendances et les alertes en cas d'échec — vous n'écrivez que la logique métier.

2

Workflows data science planifiés

Exécutez des notebooks Jupyter, des modèles dbt ou des scripts d'entraînement ML selon un calendrier. Les sensors d'Airflow permettent à chaque étape aval d'attendre que les données amont soient prêtes avant de s'exécuter, sans boucle de polling.

3

Automatisation de processus internes

Automatisez tout processus répétable multi-étapes — génération de rapports, maintenance de base de données, synchronisations d'API — sans payer un scheduler cloud. LocalExecutor gère des centaines de tâches par jour sur un VPS standard.

Déployer Apache Airflow sur votre VPS

Guide optimisé pour les VPS Cloud ServOrbit.

01

Commander un VPS ServOrbit

Minimum 2 vCPU et 4 Go de RAM pour LocalExecutor avec une charge de tâches modérée. Ubuntu 24.04 avec Docker est le système d'exploitation recommandé. Prévoyez au moins 20 Go de disque pour les logs et la base de données Airflow.

02

Déployer depuis le Marketplace

Marketplace → Automatisation & Workflows → Apache Airflow → Déployer. Trois conteneurs démarrent : PostgreSQL (base de données), airflow-init (effectue les migrations et crée le compte admin, puis se termine), puis webserver et scheduler. Le webserver écoute sur le port 8080, lié à 127.0.0.1.

03

Se connecter pour la première fois

Les identifiants sont affichés dans votre espace client ServOrbit après le déploiement. Ouvrez un tunnel SSH : ssh -L 8080:127.0.0.1:<port> root@<ip-vps>, puis accédez à http://localhost:8080 dans votre navigateur. Pour une URL publique, attachez un domaine dans votre espace client — nginx proxifiera vers Airflow et provisionnera un certificat TLS automatiquement.

04

Créer votre premier DAG

Les fichiers DAG se trouvent dans le volume dags monté sur /opt/airflow/dags. Créez un fichier .py dans ce répertoire : le scheduler le détecte en quelques secondes et l'affiche dans l'interface web. Activez-le avec l'interrupteur et déclenchez une exécution manuelle pour vérifier qu'il fonctionne.

05

Surveiller et maintenir

L'interface web affiche l'historique des exécutions de chaque DAG, les durées des tâches, les logs et les causes d'échec. Configurez des alertes e-mail avec AIRFLOW__EMAIL__EMAIL_CONN_ID et une connexion SMTP configurée, ou utilisez le provider Slack pour notifier votre équipe.

Questions fréquentes

Non. Airflow est un orchestrateur de workflows, pas un moteur de calcul. Il planifie et monitore des tâches Python sur CPU — les tâches elles-mêmes peuvent appeler des API GPU ou des clusters Spark, mais Airflow lui-même n'a besoin que de RAM et de CPU standard.

Ouvrez un tunnel SSH : ssh -L 8080:127.0.0.1:<port> root@<ip-vps> (remplacez <port> par le port affiché dans votre espace client), puis accédez à http://localhost:8080. Pour une URL publique permanente, attachez un domaine dans votre espace client — nginx proxifiera vers Airflow et provisionnera un certificat TLS automatiquement.

Oui. Construisez une image Docker dérivée de apache/airflow:3.3.0 avec un fichier requirements.txt : FROM apache/airflow:3.3.0\nRUN pip install --no-cache-dir pandas scikit-learn. Utilisez cette image dans votre compose à la place de l'image officielle. C'est la méthode recommandée — installer des paquets au runtime est lent et non reproductible.

Solutions complémentaires

Automatisation & Workflows

Apache Airflow n'est pas encore commandable.