Início rápido da CLI do AI Runtime

Importante

A CLI do AI Runtime está em Beta.

Submeta seu primeiro job de treinamento com a CLI do AI Runtime em três etapas: escreva um arquivo de configuração train.yaml, execute-o com air run e, em seguida, inspecione a execução. Antes de começar, instale a CLI e configure a autenticação.

Etapa 1: Gravar uma configuração YAML

Crie train.yaml descrevendo a carga de trabalho. A configuração mínima requer um nome de experimento, uma especificação de computação e um comando. O comando a seguir é executado sem nenhum código local, para que você possa enviar sua primeira execução imediatamente:

experiment_name: my-first-air-run
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
command: echo "hello AIR!"

Executar seu próprio código

Para executar um script de treinamento local, adicione um environment bloco que lista suas dependências de Python e um code_source bloco que carrega seu código local. Coloque o script ao lado de train.yaml:

my-project/
├── train.yaml
└── train.py

experiment_name: my-first-air-run
environment:
  version: '4'
  dependencies:
    - torch
    - transformers
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
code_source:
  type: snapshot
  snapshot:
    root_path: .
command: python $CODE_SOURCE_PATH/train.py

Essa configuração instala as dependências listadas, carrega o diretório atual (root_path: .) e é executada train.py em uma única GPU A10. $CODE_SOURCE_PATH corresponde ao local do código carregado no nó remoto. O Databricks recomenda usar isso em vez de codificar um caminho. environment.version seleciona a versão do ambiente de GPU sem servidor e é opcional (o padrão é '4'). Para todas as versões disponíveis, consulte versões de ambiente sem servidor.

Para obter a referência completa dos campos, consulte a referência YAML da carga de trabalho.

Etapa 2: Enviar a execução

Envie a carga de trabalho:

air run --file train.yaml

A CLI carrega seu código local (se você configurou um code_source), envia o trabalho e imprime uma ID de execução. Use essa ID para inspecionar, observar e cancelar a execução em comandos posteriores.

O envio cria uma execução no experimento MLflow nomeado experiment_name (um experimento pode conter muitas execuções). Essa execução captura as métricas, os parâmetros, os artefatos e os logs da carga de trabalho, todos visíveis na interface do MLflow no workspace. Os logs também estão disponíveis fora do MLflow: transmita-os no terminal ou para um arquivo, ou baixe-os posteriormente com air logs (consulte a etapa 3).

Para acompanhar os logs até a conclusão, adicione --watch:

air run --file train.yaml --watch

Etapa 3: inspecionar a execução

Verifique o status:

air get run <run-id>

A saída inclui links clicáveis para o experimento do MLflow da execução e a execução do MLflow na interface do usuário do workspace.

Transmitir ou baixar logs:

air logs <run-id>
air logs <run-id> --node 2
air logs <run-id> --download-to ./logs/

Cargas de trabalho distribuídas são executadas em vários nós. Por padrão, air logs transmite a partir do nó 0. Para exibir logs de um nó específico, passe --node. Use --download-to para gravar logs em um diretório local em vez de transmiti-los.

Listar execuções recentes:

air list runs --limit 10
air list runs --active

Cancele uma execução:

air cancel <run-id>

Padrões comuns

Substitua campos YAML da linha de comando:

air run --file train.yaml --override compute.num_accelerators=32 timeout_minutes=120

Valide a configuração sem enviar:

air run --file train.yaml --dry-run

Torne um envio repetível com segurança:

air run --file train.yaml --idempotency-key my-unique-key

Se a mesma chave já tiver sido usada antes, a execução existente será retornada em vez de criar uma nova.

Recursos adicionais

  • Last updated on