MLflow en un VPS: seguimiento de experimentos ML y modelos

Ejecutado en local, MLflow escribe sus resultados en una carpeta mlruns de tu equipo: nadie más los ve, y desaparecen con la máquina. Un servidor de seguimiento lo cambia todo. Cada notebook, cada script de entrenamiento y cada miembro del equipo envía sus ejecuciones al mismo sitio, y la interfaz las compara lado a lado.

El mismo servidor aloja el registro de modelos — la lista de modelos validados y versionados, con un alias para el que está en producción — y, para la IA generativa, las trazas de tus llamadas a los modelos de lenguaje.

Un VPS Ubuntu 24.04 con 2 GB de RAM basta para empezar; prevé 4 GB y más disco si guardas muchos modelos, porque son los artefactos los que ocupan espacio. Necesitas Docker con el plugin Compose y un nombre de dominio que apunte al VPS, con nginx y un certificado HTTPS: tus scripts y tu equipo se conectarán a él.

Instala el cliente (pip install mlflow) en la máquina de entrenamiento y apúntalo a tu servidor. Las credenciales se pasan por variables de entorno:

import os
import mlflow

os.environ["MLFLOW_TRACKING_USERNAME"] = "admin"
os.environ["MLFLOW_TRACKING_PASSWORD"] = "TU_CONTRASEÑA"
mlflow.set_tracking_uri("https://mlflow.example.ma")
mlflow.set_experiment("churn-model")

with mlflow.start_run():
    mlflow.log_param("learning_rate", 0.01)
    mlflow.log_metric("accuracy", 0.93)
    mlflow.log_artifact("confusion_matrix.png")

La ejecución aparece al instante en la interfaz, con sus parámetros, sus métricas y el archivo subido. mlflow.sklearn.autolog() o mlflow.pytorch.autolog() registran todo eso sin una línea más.

Para un asistente o un agente, las trazas registran cada petición con sus llamadas al modelo, sus pasos y su duración. Activa el registro automático de tu biblioteca o decora tus propias funciones:

import mlflow

mlflow.set_experiment("support-assistant")
mlflow.openai.autolog()   # cada llamada al cliente de OpenAI se convierte en una traza

@mlflow.trace
def answer(question: str) -> str:
    ...

Las trazas aparecen en la pestaña del experimento: ves qué llamada fue lenta, qué contexto se envió y qué respondió el modelo.

Cuando validas una prueba, registra su modelo: recibe un número de versión y puedes darle un alias como production.

mlflow.register_model(f"runs:/{run_id}/model", "churn-model")

Tu servicio de inferencia carga entonces models:/churn-model@production: cambiar de modelo consiste en mover el alias, sin tocar el código.

La cuenta admin crea las demás cuentas a través de la API:

curl -u admin:TU_CONTRASEÑA -X POST https://mlflow.example.ma/api/2.0/mlflow/users/create \
  -H 'Content-Type: application/json' \
  -d '{"username": "sara", "password": "UNA_CONTRASEÑA_LARGA"}'

Una cuenta nueva no ve ningún experimento hasta que se le comparte uno: los permisos (lectura, edición, gestión) se conceden experimento por experimento y modelo por modelo. Cambia la contraseña de admin con la API users/update-password (indicando la anterior en current_password); la nueva se conserva tras los reinicios.

Todo el estado de MLflow está en el volumen mlflow-data: la base de los experimentos, la de las cuentas y la carpeta de artefactos. Haz la copia con el contenedor detenido y luego copia el archivo fuera del VPS:

cd /opt/mlflow
docker compose stop
docker run --rm -v mlflow_mlflow-data:/data -v "$PWD":/backup alpine \
  tar czf /backup/mlflow-$(date +%F).tar.gz -C /data .
docker compose start

Para actualizar, lee primero las notas de la versión — una actualización puede migrar el esquema de la base —, cambia la etiqueta de la imagen en docker-compose.yml y luego:

cd /opt/mlflow
docker compose pull && docker compose up -d
docker compose logs --tail 20

Las Aplicaciones en 1 clic de ServOrbit instalan MLflow en tu VPS sin línea de comandos: despliega el contenedor oficial, genera la contraseña de la cuenta admin y la clave de sesión, activa la autenticación en la interfaz y la API, limita los nombres de host aceptados a tu dirección y publica el servidor por HTTPS en un subdominio de tu dominio o en el subdominio gratuito del VPS (mlflow.{dns_slug}.servorbit-dns.com). La contraseña aparece en tu área de cliente; solo queda conectar tus notebooks.