Exemplos da CLI do Runtime de IA

Important

Esse recurso está em Beta. Os administradores do workspace podem controlar o acesso a esse recurso na página Visualizações . Consulte Gerenciar visualizações do Azure Databricks.

Os exemplos a seguir são cargas de trabalho completas de ponta a ponta que você envia pela CLI air com air run -f train.yaml. Cada exemplo mostra um padrão real de múltiplas GPUs em GPUs H100, incluindo o arquivo YAML da carga de trabalho, os comandos de bootstrap e o código. Comece com o início rápido caso você nunca tenha enviado uma execução antes.

Example Description
Ajuste de LLM em vários nós com FSDP Ajuste fino supervisionado de Llama-3.1-8B em 16 GPUs H100 (2 nós) usando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Logs do MLflow e nos pontos de verificação em um volume do Catálogo do Unity.
Treinamento distribuído com o Ray Train Ajuste fino em paralelo de dados distribuídos com GPUs do Ray Train TorchTrainer em 8 GPUs H100 em um único nó, com um trabalhador por GPU.
Inferência em lote com Dados Ray e vLLM Inferência offline em lote com LLM usando Dados Ray e vLLM em 8 GPUs H100 em um único nó, executando uma réplica do vLLM por GPU e gravando os resultados em um volume do Catálogo do Unity no formato Parquet.