Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Importante
O AI Runtime para tarefas de nó único está em Versão prévia pública. A API de treinamento distribuído para cargas de trabalho de várias GPUs permanece em Beta.
Esses notebooks fazem o ajuste fino de grandes modelos de linguagem (LLMs) no AI Runtime. Eles abordam métodos com uso eficiente de parâmetros, como Adaptação de Baixa Classificação (LoRA) e ajuste fino supervisionado completo em bibliotecas como TRL, Unsloth, Axolotl e LLM Foundry, com modelos que vão de Qwen2 e Llama a GPT-OSS 120B.
| Tutorial | Descrição |
|---|---|
| Ajustar o modelo Qwen3-4B | Ajuste fino de pesos completos do modelo Qwen3-4B em uma única GPU H100 usando Aprendizado por Reforço Transformer (TRL), com precisão mista BF16 e checkpoint de gradiente para treinamento com uso eficiente de memória. |
| Aperfeiçoar Llama-3.2-3B com Unsloth | Faça o ajuste fino do Llama-3.2-3B usando a biblioteca Unsloth. |
| Ajuste fino do GPT-OSS 20B | Faça o ajuste fino do modelo gpt-oss-20b da OpenAI em 8 GPUs H100 usando paralelismo de dados distribuído e LoRA para o ajuste fino eficiente em parâmetros |
| Ajuste refinado supervisionado usando DeepSpeed e TRL | Use a API do Python de GPU sem servidor para executar o SFT (ajuste fino supervisionado) usando a biblioteca TRL (Transformer Reinforcement Learning) com otimização do Estágio 3 de DeepSpeed ZeRO. |
| Ajuste fino de LoRA usando Axolotl | Use a API do Python de GPU sem servidor para fazer o ajuste fino LoRA em um modelo Olmo3 7B usando a biblioteca Axolotl. |
| Ajuste fino distribuído de Qwen2-0.5B | Faça o ajuste fino do modelo Qwen2-0.5B usando os Kernels LoRA e Liger para treinamento distribuído com eficiência de memória com redução de parâmetros. |
| Ajuste fino distribuído do Llama-3.2-3B com Unsloth | Faça o ajuste fino do Llama-3.2-3B usando treinamento distribuído em várias GPUs com a biblioteca Unsloth para um treinamento otimizado e com eficiência de parâmetros. |
| Aperfeiçoar Llama 3.1 8B usando LLM Foundry | Ajuste o modelo Llama 3.1 8B usando o Mosaic LLM Foundry com estratégias de treinamento distribuídas e avaliação de modelo. |
| Ajuste fino de GPT-OSS 120B com DDP e FSDP | Faça o ajuste fino do modelo GPT-OSS 120B da OpenAI usando ajustes finos supervisionados em GPUs H100 com estratégias de treinamento distribuído de DDP e FSDP. |
| Treinamento distribuído com PyTorch FSDP | Treine modelos Transformer usando PyTorch Fully Sharded Data Parallel (FSDP) para dividir os parâmetros do modelo em várias GPUs. |
Demonstração de vídeo
Este vídeo mostra o exemplo de Ajuste fino do Llama-3.2-3B com Unsloth no notebook de exemplo em detalhes (12 minutos).