Important
単一ノード タスクの AI ランタイムは パブリック プレビュー段階です。 マルチ GPU ワークロード用の分散トレーニング API は ベータ版のままです。
これらのノートブックは、AI ランタイム上の大規模な言語モデル (LLM) を微調整します。 TRL、Unsloth、Axolotl、LLM Foundry などのライブラリにまたがり、Low-Rank Adaptation（LoRA）のようなパラメータ効率に優れた手法から完全教師ありファインチューニングまでを、Qwen2 や Llama から GPT-OSS 120B に至るモデルを対象に扱っています。
| チュートリアル | 説明 |
|---|---|
| Qwen3-4B モデルを微調整する | トランスフォーマー強化学習 (TRL) を使用して、単一の H100 GPU で Qwen3-4B モデルをフルウェイトで微調整し、BF16 の混合精度と勾配チェックポイントを使用してメモリ効率の高いトレーニングを行います。 |
| Unsloth で Llama-3.2-3B を微調整する | Unsloth ライブラリを使用して Llama-3.2-3B を微調整します。 |
| GPT-OSS 20B を微調整する | 分散データ並列処理と LoRA を使用して、8 H100 GPU で OpenAI の gpt-oss-20b モデルを微調整し、パラメーター効率の高い微調整を行います。 |
| DeepSpeed と TRL を使用した監視対象の微調整 | サーバーレス GPU Python API を使用して、DeepSpeed ZeRO Stage 3 の最適化を使用してトランスフォーマー強化学習 (TRL) ライブラリを使用して監視微調整 (SFT) を実行します。 |
| Axolotl を使用した LoRA の微調整 | Serverless GPU Python API を使用して、Axolotl ライブラリを使用して Olmo3 7B モデルを LoRA で微調整します。 |
| 分散型ファインチューニング Qwen2-0.5B | LoRA カーネルと Liger Kernels を使用して Qwen2-0.5B モデルを微調整し、パラメーターを減らしながらメモリ効率の高い分散トレーニングを行います。 |
| Unslothで分散処理ファインチューニングされたLlama-3.2-3B | パラメーター効率の高いトレーニングを最適化するために、Unsloth ライブラリを使用して複数の GPU 間で分散トレーニングを使用して Llama-3.2-3B を微調整します。 |
| LLM Foundry で Llama 3.1 8B を微調整する | 分散トレーニング戦略とモデル評価を使用して、モザイク LLM Foundry を使用して Llama 3.1 8B モデルを微調整します。 |
| DDP と FSDP GPT-OSS 120B を微調整する | DDP および FSDP 分散トレーニング戦略を使用して、H100 GPU の監視対象の微調整を使用して、OpenAI の GPT-OSS 120B モデルを微調整します。 |
| PyTorch FSDP を使用した分散トレーニング | PyTorch 完全シャード データ並列 (FSDP) を使用してトランスフォーマー モデルをトレーニングし、複数の GPU 間でモデル パラメーターをシャード化します。 |
ビデオ デモ
このビデオでは、Unsloth を使って Llama-3.2-3B を微調整するサンプルノートブックを、12 分間にわたって詳しく説明します。