ما الفرق بين LocalExecutor وCeleryExecutor في Airflow؟

يُشغّل LocalExecutor المهام بالتوازي كعمليات محلية على الخادم نفسه الذي يعمل عليه المجدول — مثالي لمئات المهام يوميًا على خادم VPS واحد دون الحاجة إلى Redis. أما CeleryExecutor فيوزّع المهام على workers بعيدة — ضروري لآلاف المهام المتزامنة أو خوادم متعددة. للاستخدام المعتاد على VPS من ServOrbit، يُوصى بـ LocalExecutor.

كم من RAM يحتاجه Apache Airflow على خادم VPS؟

في وضع LocalExecutor، توقّع استهلاك 1 إلى 2 غيغابايت RAM في حالة الخمول (webserver + scheduler + PostgreSQL). للـ DAG التي تُحمّل pandas أو ملفات كبيرة، خصّص 4 غيغابايت لتوفير هامش لعمليات المهام. يستلزم وضع CeleryExecutor — مع workers وRedis — من 4 إلى 8 غيغابايت حسب عدد الـ workers.

أتمتة العمليات التجارية.

Apache Airflow

منسّق DAG بلغة Python مستضاف ذاتيًا — ETL وأنابيب بيانات وجدولة مع أكثر من 600 مزوِّد على خادم VPS.

4 غيغابايت ذاكرة عشوائية 2 vCPU المنفذ 8080 قيد التحقق

قيد التحقق

التثبيت التلقائي لهذا الحل جاهز ويخضع حاليًا لاختباراتنا على خادم حقيقي. سيُفتح الطلب فور اكتمال التحقق.

الشيفرة المصدرية

المنظومة التقنية

DockerPython 3.12PostgreSQL 16

الحد الأدنى من RAM4 غيغابايت

الحد الأدنى من CPU2 vCPU

المنفذ الافتراضي8080

أنظمة التشغيل المتوافقةتوزيعات Linux حسب اختيارك

Apache Airflow هو المعيار الفعلي لتنسيق أنابيب البيانات على شكل رسوم بيانية موجَّهة لا دورية (DAG) مكتوبة بلغة Python. كل DAG هو ملف ‎.py عادي يعرّف المهام وتبعياتها وجدولها الزمني. يلتقط المجدول ملفات DAG تلقائيًا، وينفّذ المهام عبر الـ workers المُعدَّة، ويوفّر واجهة ويب متكاملة لمراقبة الجولات وفحص السجلات وإدارة الاتصالات.

عند نشره على خادم VPS من ServOrbit مع LocalExecutor، يعمل Airflow بثلاثة حاويات فقط — webserver وscheduler وPostgreSQL — دون Celery أو Redis. تستهلك هذه الحزمة الأخف نحو 1–2 غيغابايت RAM في حالة الخمول، مما يجعلها في متناول خادم VPS متوسط، مع دعم مئات المهام يوميًا.

الميزات الرئيسية

DAG بلغة Python مُدارة بالإصدارات في Git — المهام والتبعيات والجداول في ملف ‎.py واحد

أكثر من 600 حزمة مزوِّد — SQL والسحابة (AWS وGCP وAzure) وdbt وSpark وHTTP والمزيد

مجدول متين — cron وتبعيات بين المهام وbackfill وcatchup

واجهة ويب متكاملة — رسم DAG وسجلات المهام وتاريخ الجولات وإدارة المتغيرات

وضع LocalExecutor — 3 حاويات (webserver + scheduler + PostgreSQL)، دون Celery/Redis

رخصة Apache-2.0 — أكثر من 36 ألف نجمة GitHub، مجتمع نشط، بلا قيود بائع

متى تستخدم هذا الحل؟

1

ETL وأنابيب البيانات

صِف مهام استيعاب البيانات وتحويلها وتصديرها بصورة DAG بلغة Python. يتولى Airflow الجدولة وإعادة المحاولة وحل التبعيات والتنبيه عند الفشل.

2

سير عمل علم البيانات المجدولة

شغّل دفاتر Jupyter أو نماذج dbt أو برامج التدريب على التعلم الآلي وفق جدول زمني. تتيح حساسات Airflow لكل خطوة لاحقة انتظار اكتمال بيانات الخطوة السابقة قبل التنفيذ.

3

أتمتة العمليات الداخلية

أتمت أي عملية متكررة متعددة الخطوات — توليد التقارير وصيانة قواعد البيانات ومزامنة واجهات API — دون دفع رسوم لجدولة سحابية.

نشر Apache Airflow على خادم VPS الخاص بك

دليل محسّن لخوادم VPS Cloud من ServOrbit.

01

اطلب خادم VPS

حدٌّ أدنى 2 vCPU و4 غيغابايت RAM لـ LocalExecutor مع حمل مهام متوسط. Ubuntu 24.04 مع Docker هو نظام التشغيل الموصى به.

02

انشر من Marketplace

Marketplace ← أتمتة وسير العمل ← Apache Airflow ← نشر. تبدأ ثلاثة حاويات: PostgreSQL، airflow-init (يُشغّل عمليات الترحيل وينشئ حساب المسؤول ثم يخرج)، ثم webserver وscheduler. يستمع الـ webserver على المنفذ 8080 مرتبطًا بـ 127.0.0.1.

03

سجّل الدخول للمرة الأولى

تظهر بيانات الاعتماد في منطقة عملائك في ServOrbit بعد النشر. افتح نفقًا SSH: ssh -L 8080:127.0.0.1:<port> root@<ip-vps> ثم افتح http://localhost:8080 في متصفحك.

04

أنشئ أول DAG

تقع ملفات DAG في وحدة التخزين dags المُثبَّتة على /opt/airflow/dags. أنشئ ملف ‎.py في ذلك المجلد: يكتشفه المجدول في ثوانٍ ويعرضه في واجهة الويب.

05

راقِب وصُن

تعرض واجهة الويب تاريخ جولات كل DAG ومدد المهام والسجلات وأسباب الفشل. أعدّ تنبيهات البريد الإلكتروني أو استخدم مزوِّد Slack لإشعار فريقك.

الأسئلة الشائعة

لا. Airflow هو منسّق سير عمل وليس محرّك حوسبة. فهو يجدول ويراقب مهام Python على المعالج — يمكن للمهام نفسها استدعاء واجهات GPU أو مجموعات Spark، لكن Airflow لا يحتاج سوى RAM ومعالج قياسيين.

افتح نفقًا SSH: ssh -L 8080:127.0.0.1:<port> root@<ip-vps> (استبدل <port> بالمنفذ الظاهر في منطقة عملائك)، ثم افتح http://localhost:8080. للحصول على عنوان URL عام دائم، اربط نطاقًا في منطقة عملائك — سيقوم nginx بالتوكيل العكسي نحو Airflow وتوفير شهادة TLS تلقائيًا.

نعم. ابنِ صورة Docker مشتقة من apache/airflow:3.3.0 مع ملف requirements.txt: أضف سطر FROM apache/airflow:3.3.0 ثم RUN pip install --no-cache-dir الحزمة. استخدم هذه الصورة في compose بدلًا من الصورة الرسمية. هذه هي الطريقة الموصى بها — تثبيت الحزم في وقت التشغيل بطيء وغير قابل للتكرار.

حلول تكميلية

الأتمتة وسير العمل

لا يمكن طلب Apache Airflow بعد.