Instalar Apache Airflow en VPS: Docker Compose y PostgreSQL

Por qué alojar Apache Airflow en tu propio VPS

Qué orquesta Airflow en la práctica

• Pipelines de datos y ETL — extraer desde APIs o bases de datos, transformar y cargar en un data warehouse.
• Flujos de trabajo de ML — entrenamiento de modelos, evaluación, despliegue automatizado con dependencias entre pasos.
• Tareas programadas complejas — backfills, catchups, reintentos configurables por tarea.
• Integraciones con terceros — más de 80 providers oficiales: PostgreSQL, MySQL, S3, BigQuery, dbt, Spark, Kubernetes, HTTP.
• Pipelines de informes — generación automática de informes periódicos y entrega por correo o Slack.
• Orquestación de microservicios — lanzar trabajos remotos vía API y esperar su resultado antes de continuar.

Requisitos del VPS y stack técnico

Arquitectura Docker Compose de Airflow

Desplegar Airflow 3.x con Docker Compose

1. 01

   Obtener el docker-compose oficial y crear directorios

   Crea el directorio de trabajo, descarga el archivo de referencia y prepara las carpetas:

   mkdir -p /opt/airflow && cd /opt/airflow
   curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml'
   mkdir -p ./dags ./logs ./plugins ./config

2. 02

   Configurar el archivo .env (UID, PostgreSQL, clave secreta)

   Crea /opt/airflow/.env con las variables esenciales:

   echo "AIRFLOW_UID=$(id -u)" > .env
   echo "AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow" >> .env
   echo "AIRFLOW__CORE__FERNET_KEY=$(python3 -c 'from cryptography.fernet import Fernet; print(Fernet.generate_key().decode())')" >> .env

   FERNET_KEY cifra las conexiones y variables — genérala una sola vez y guarda una copia de seguridad.

3. 03

   Inicializar la base de datos

   Aplica las migraciones y crea la primera cuenta de administrador:

   docker compose up airflow-init

   Espera el código de salida 0 — cualquier otro código indica un problema de conexión a PostgreSQL.

4. 04

   Iniciar todos los servicios

   Lanza el stack completo en segundo plano:

   docker compose up -d
   docker compose ps

   Todos los contenedores deben alcanzar el estado healthy en uno a tres minutos.

5. 05

   Crear una cuenta de administrador personalizada

   Crea tu cuenta permanente:

   docker compose exec airflow-webserver airflow users create \
     --username admin --firstname Nombre --lastname Apellido \
     --role Admin --email [email protected] \
     --password TuContraseñaSegura

6. 06

   Exponer Airflow detrás de un reverse proxy con SSL

   Nunca expongas el puerto 8080 directamente. Con Caddy:

   apt install -y caddy
   cat > /etc/caddy/Caddyfile << 'EOF'
   airflow.tudominio.com {
       reverse_proxy localhost:8080
   }
   EOF
   systemctl reload caddy && ufw deny 8080

Configurar PostgreSQL como backend de metadatos

AIRFLOW__DATABASE__SQL_ALCHEMY_CONN=postgresql+psycopg2://airflow:airflow@postgres/airflow

Pasar al CeleryExecutor para múltiples workers

docker compose up -d --scale airflow-worker=3

Gestionar conexiones y variables secretas

AIRFLOW_CONN_MY_POSTGRES=postgresql://user:password@host:5432/dbname

Crear y probar tu primer DAG Python

1. 07

   Crear el archivo DAG en la carpeta /dags

   Crea /opt/airflow/dags/mi_primer_dag.py:

   from airflow.sdk import DAG, task
   from datetime import datetime
   
   with DAG(
       dag_id='mi_primer_dag',
       schedule='@daily',
       start_date=datetime(2025, 1, 1),
       catchup=False,
   ) as dag:
   
       @task
       def extraer(): return {'filas': 42}
   
       @task
       def transformar(datos): return datos['filas'] * 2
   
       @task
       def cargar(resultado): print(f'Resultado: {resultado}')
   
       cargar(transformar(extraer()))

2. 08

   Verificar que el scheduler analiza el DAG sin errores

   Verifica manualmente:

   docker compose exec airflow-scheduler airflow dags list | grep mi_primer_dag

   Si el DAG no aparece tras 30 segundos, busca errores de análisis:

   docker compose logs airflow-scheduler | grep -i 'error\|exception' | tail -20

3. 09

   Lanzar una ejecución manual e inspeccionar logs

   En la UI de Airflow, navega a DAGs, encuentra mi_primer_dag, actívalo y haz clic en ▶ Trigger DAG. Desde el terminal:

   docker compose exec airflow-scheduler airflow dags trigger mi_primer_dag

Securizar tu instalación Airflow

AIRFLOW__CORE__LOAD_EXAMPLES=False

LocalExecutor vs CeleryExecutor vs KubernetesExecutor

Desplace la tabla

Depurar y leer los logs de Airflow

docker compose logs airflow-scheduler --follow --tail=100

docker compose exec airflow-webserver airflow dags list-import-errors