Exemplos de CLI em tempo de execução de IA

Important

Este recurso está em versão Beta. Os administradores do espaço de trabalho podem controlar o acesso a esse recurso na página Visualizações . Ver Gerir as pré-visualizações de Azure Databricks.

Os exemplos seguintes são cargas de trabalho completas, de ponta a ponta, que submete a partir da air CLI com air run -f train.yaml. Cada exemplo mostra uma configuração real multi-GPU em GPUs H100, incluindo o ficheiro YAML da carga de trabalho, os comandos de inicialização e o código. Começa pelo quickstart se nunca enviaste uma tentativa antes.

Example Description
Afinação de LLM em vários nós com FSDP Ajuste fino supervisionado do Llama-3.1-8B em 16 GPUs H100 (2 nós) usando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Regista em MLflow e pontos de verificação num volume do Unity Catalog.
Treino distribuído com Ray Train Afinação fina distribuída com paralelismo de dados com o Ray Train TorchTrainer em 8 GPUs H100 num único nó, com um worker por GPU.
Inferência em lote com Ray Data e vLLM Inferência em lote offline de LLM com Ray Data e vLLM em 8 GPUs H100 num único nó, executando uma réplica vLLM por GPU e escrevendo resultados num volume do Unity Catalog como Parquet.
  • Last updated on