تثبيت Apache Airflow على VPS: Docker Compose وPostgreSQL

لماذا استضافة Apache Airflow على VPS خاص

ما الذي ينسقه Airflow عملياً

• خطوط أنابيب البيانات وETL — الاستخراج من APIs أو قواعد البيانات، التحويل والتحميل إلى مستودع البيانات.
• سير عمل التعلم الآلي — تدريب النماذج، التقييم، النشر الآلي مع تبعيات الخطوات.
• المهام المجدولة المعقدة — backfills، catchups، إعادة المحاولة قابلة للتهيئة لكل مهمة.
• التكاملات مع الأطراف الثالثة — أكثر من 80 مزوداً رسمياً: PostgreSQL، MySQL، S3، BigQuery، dbt، Spark.
• خطوط أنابيب التقارير — إنشاء تقارير دورية آلية وتسليمها عبر البريد الإلكتروني أو Slack.
• تنسيق الخدمات المصغرة — تشغيل وظائف عن بُعد عبر API والانتظار لنتائجها قبل المتابعة.

متطلبات VPS والحزمة التقنية

معمارية Docker Compose لـ Airflow

نشر Airflow 3.x باستخدام Docker Compose

1. 01

   جلب docker-compose الرسمي وإنشاء المجلدات

   أنشئ مجلد العمل، نزّل الملف المرجعي وجهّز المجلدات:

   mkdir -p /opt/airflow && cd /opt/airflow
   curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml'
   mkdir -p ./dags ./logs ./plugins ./config

2. 02

   تهيئة ملف ‎.env (UID، PostgreSQL، المفتاح السري)

   أنشئ /opt/airflow/.env بالمتغيرات الأساسية:

   echo "AIRFLOW_UID=$(id -u)" > .env
   echo "AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow" >> .env
   echo "AIRFLOW__CORE__FERNET_KEY=$(python3 -c 'from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())')" >> .env

   FERNET_KEY يشفر الاتصالات والمتغيرات — أنشئها مرة واحدة واحتفظ بنسخة احتياطية.

3. 03

   تهيئة قاعدة البيانات

   طبّق الترحيلات وأنشئ أول حساب مسؤول:

   docker compose up airflow-init

   انتظر كود الخروج 0 — أي كود آخر يشير إلى مشكلة اتصال بـ PostgreSQL.

4. 04

   تشغيل جميع الخدمات

   أطلق المجموعة الكاملة في الخلفية:

   docker compose up -d
   docker compose ps

   جميع الحاويات يجب أن تصل إلى حالة healthy في غضون دقيقة إلى ثلاث دقائق.

5. 05

   إنشاء حساب مسؤول مخصص

   أنشئ حسابك الدائم:

   docker compose exec airflow-webserver airflow users create \
     --username admin --firstname الاسم --lastname الكنية \
     --role Admin --email [email protected] \
     --password كلمةمرورقوية

6. 06

   كشف Airflow خلف reverse proxy مع SSL

   لا تكشف المنفذ 8080 مباشرة. مع Caddy:

   apt install -y caddy
   cat > /etc/caddy/Caddyfile << 'EOF'
   airflow.yourdomain.com {
       reverse_proxy localhost:8080
   }
   EOF
   systemctl reload caddy && ufw deny 8080

تهيئة PostgreSQL كخلفية للبيانات الوصفية

AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow

الانتقال إلى CeleryExecutor لعدة عمال

docker compose up -d --scale airflow-worker=3

إدارة الاتصالات والمتغيرات السرية

AIRFLOW_CONN_MY_POSTGRES=postgresql://user:password@host:5432/dbname

إنشاء واختبار أول DAG Python

1. 07

   إنشاء ملف DAG في مجلد /dags

   أنشئ /opt/airflow/dags/my_first_dag.py:

   from airflow.sdk import DAG, task
   from datetime import datetime
   
   with DAG(
       dag_id='my_first_dag',
       schedule='@daily',
       start_date=datetime(2025, 1, 1),
       catchup=False,
   ) as dag:
   
       @task
       def extract(): return {'rows': 42}
   
       @task
       def transform(data): return data['rows'] * 2
   
       @task
       def load(result): print(f'Result: {result}')
   
       load(transform(extract()))

2. 08

   التحقق من أن المجدول يحلل DAG دون أخطاء

   تحقق يدوياً:

   docker compose exec airflow-scheduler airflow dags list | grep my_first_dag

   إذا لم يظهر DAG بعد 30 ثانية، ابحث عن أخطاء التحليل:

   docker compose logs airflow-scheduler | grep -i 'error\|exception' | tail -20

3. 09

   تشغيل يدوي وفحص السجلات

   في واجهة Airflow، انتقل إلى DAGs، ابحث عن my_first_dag، فعّله، ثم اضغط ▶ Trigger DAG. انقر على مهمة ثم Logs لرؤية المخرجات. من الطرفية:

   docker compose exec airflow-scheduler airflow dags trigger my_first_dag

تأمين تثبيت Airflow

AIRFLOW__CORE__LOAD_EXAMPLES=False

LocalExecutor مقابل CeleryExecutor مقابل KubernetesExecutor

مرّر الجدول أفقيًا

تصحيح الأخطاء وقراءة سجلات Airflow

docker compose logs airflow-scheduler --follow --tail=100

docker compose exec airflow-webserver airflow dags list-import-errors