AI ランタイムに接続する

Important

単一ノード タスクの AI ランタイムは パブリック プレビュー段階です。 マルチ GPU ワークロード用の分散トレーニング API は ベータ版のままです。

対話型ノートブック、SSH トンネル、スケジュールされたジョブ、ジョブ API、または宣言型オートメーション バンドルを介して IDE から AI ランタイムに接続します。 ノートブックを AI ランタイムにアタッチすることは、トレーニングを実行してワークロードを微調整する主な方法であり、定期的なジョブと同じノートブックをスケジュールしたり、デプロイ パイプラインで自動化したりできます。

対話型 (ノートブック)

これは、AI ランタイムを使用する主な方法です。 ノートブックを接続して環境を構成するには:

  1. ノートブックで、上部にあるコンピューティング ドロップダウン メニューをクリックし、[ サーバーレス GPU] を選択します。
  2. [ 環境] アイコン をクリックして、[ 環境 ] サイド パネルを開きます。
  3. [アクセラレータ] フィールドから アクセラレータ を選択します。 分散トレーニング ワークロードの場合は、 8xH100 を選択します。 アクセラレータの選択に関するガイダンスについては、「 ハードウェア オプション 」を参照してください。
  4. Standard 環境の場合は Standard v5 または Standard v4、AI 環境場合は AI v5 または AI v4 を [基本環境] フィールドから選択します。
  5. [ 適用 ] をクリックし、ノートブック環境に AI ランタイムを適用することを 確認 します。

コンピューティングへの接続は、非アクティブ状態が 60 分続くと自動的に終了します。

ヒント

GPU を必要としない操作 (Git リポジトリの複製、データ形式の変換、探索的データ分析など) の場合は、GPU リソースを保持するためにノートブックを CPU クラスターにアタッチします。

IDE ターミナルからの接続

サーバーレス GPU コンピューティング上の AI ランタイムには、 SSH トンネルを介して IDE のターミナルから直接接続できます。

AI ランタイムに接続するには、IDE 内のターミナルから databricks ssh connect オプションを使用して --accelerator コマンドを実行します。 別のセットアップ手順は必要ありません。 コマンドの詳細については、コマンド グループssh参照してください。

databricks ssh connect --accelerator=GPU_1xA10

Visual Studio Codeまたは Cursor でセッションを接続して開始するには、--ide オプションを使用します。 CLI によって、ホーム ワークスペース フォルダーを指す IDE ウィンドウが開きます。

databricks ssh connect --ide=vscode

セットアップ、プロジェクトの開き方、コードの実行の詳細については、 SSH トンネルを使用した Databricks への接続に関するページを参照してください。

スケジュールされたジョブ

定期的なジョブとして AI ランタイムを使用するノートブックをスケジュールできます。 詳細については、 スケジュールされたノートブック ジョブの作成と管理 に関するページを参照してください。

使用するノートブックを開いた後:

  1. 右上にある [スケジュール ] ボタンを選択します。
  2. [ スケジュールの追加] を選択します
  3. [ 新しいスケジュール ] フォームに ジョブ名スケジュールコンピューティングを設定します
  4. を選択してを作成します。

ジョブとパイプライン UI からジョブを作成 および スケジュールすることもできます。 詳細なガイダンスについては、「 新しいジョブを作成 する」を参照してください。

[ 環境 ] パネルを使用した依存関係の追加は、AI ランタイムのスケジュールされたジョブではサポートされていません。 依存関係は、ノートブック内にプログラムでインストールする必要があります (たとえば、 %pip install)。 自動回復はサポートされていません。 互換性のないパッケージが原因でジョブが失敗した場合は、手動で修正して再実行する必要があります。

7 日間の最大実行時間を超える可能性があるワークロードの場合は、再開できるように手動チェックポイント処理を実装します。 UCVolumeWriterからUCVolumeReaderおよびserverless_gpu.dataを介して Unity カタログ ボリュームを使用することをお勧めします。 モデルのチェックポイント処理を参照してください。

Jobs API と宣言型オートメーション バンドル

Databricks Jobs API または宣言型オートメーション バンドルを使用して、AI ランタイム ジョブをプログラムで作成および管理できます。 デプロイ パイプラインを自動化するために、ジョブまたはバンドル定義でコンピューティングの種類をサーバーレス GPU として構成します。

次の例は、 Standard 環境を使用した AI ランタイム ジョブの宣言型オートメーション バンドルの構成を示しています。

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '4'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Standard 環境ではなく Databricks AI 環境を使用するには、環境base_environmentの AI 環境識別子 (AI v5 のdatabricks_ai_v5など) にspecを設定し、タスクのenvironment_keyから参照します。

Important

ワークスペースベース環境として Databricks AI 環境を選択することは ベータ版 であり、ワークスペース管理者がオプトインする必要があります。 サーバーレス GPU コンピューティング (AI ランタイム) のビルドを参照してください。

resources:
  jobs:
    sample_job:
      name: sample_job_aiv5_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv5
          spec:
            base_environment: databricks_ai_v5

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv5
          compute:
            hardware_accelerator: GPU_8xH100