Conectar ao Ambiente de Execução de IA

Importante

O tempo de execução da IA para tarefas de nó único está em Pré-visualização Pública. A API de treino distribuída para cargas de trabalho multi-GPU permanece em Beta.

Liga-te ao AI Runtime a partir de cadernos interativos, um IDE através de um túnel SSH, trabalhos agendados, a API de Jobs ou Pacotes de Automação Declarativa. Ligar um notebook ao AI Runtime é a principal forma de executar treino e ajustar cargas de trabalho, podendo agendar os mesmos notebooks como tarefas recorrentes ou automatizá-los nos pipelines de implementação.

Interativo (Blocos de Notas)

Esta é a principal forma de usar o tempo de execução da IA. Para conectar o seu notebook e configurar o ambiente:

  1. A partir de um portátil, clique no menu suspenso de computação no topo e selecione GPU Serverless.
  2. Clique no ícone Ambiente para abrir o painel lateral Ambiente .
  3. Selecione um acelerador do campo Acelerador . Para cargas de trabalho de treino distribuídas, selecione 8xH100. Consulte Opções de hardware para orientações sobre a escolha de um acelerador.
  4. Selecione Standard v5 ou Standard v4 para o ambiente Standard, ou AI v5 ou AI v4 para o ambiente de IA, a partir do campo Ambiente Base .
  5. Clica em Aplicar e depois Confirma que queres aplicar o tempo de execução de IA ao ambiente do teu portátil.

Observação

A conexão com sua computação termina automaticamente após 60 minutos de inatividade.

Sugestão

Para operações que não requerem GPUs (por exemplo, clonar um repositório Git, converter formatos de dados ou análise exploratória de dados), ligue o seu portátil a um cluster de CPU para preservar os recursos da GPU.

Ligação a partir do terminal IDE

Pode estabelecer ligação ao AI Runtime na infraestrutura de computação GPU sem servidor diretamente a partir de um terminal no seu IDE através de um túnel SSH.

Para te ligares ao AI Runtime, executa o databricks ssh connect comando com a --accelerator opção a partir de um terminal dentro do teu IDE. Não é necessário um passo separado de configuração. Para mais informações sobre o comando, consulte ssh grupo de comando.

databricks ssh connect --accelerator=GPU_1xA10

Para estabelecer ligação e iniciar a sessão no Visual Studio Code ou no Cursor, utilize a opção --ide. A CLI abre uma janela do IDE que aponta para a pasta do espaço de trabalho principal.

databricks ssh connect --ide=vscode

Para mais detalhes sobre configuração, abertura de projetos e execução de código, consulte Ligar a Databricks usando um túnel SSH.

Tarefas (Programadas)

Podes agendar cadernos que usam AI Runtime como tarefas recorrentes. Consulte Criar e gerir trabalhos agendados de notebooks para obter mais detalhes.

Depois de abrir o bloco de notas que pretende utilizar:

  1. Selecione o botão Agendar no canto superior direito.
  2. Selecione Adicionar agenda.
  3. Preencha o formulário Nova agenda com o Nome do trabalho, Agenda e Computação.
  4. Selecione Criar.

Você também pode criar e agendar trabalhos a partir da IU Jobs e Pipelines. Consulte Criar um novo trabalho para obter orientação passo a passo.

Observação

Adicionar dependências usando o Environments não é suportado para trabalhos agendados no AI Runtime. As dependências devem ser instaladas programaticamente dentro do seu notebook (por exemplo, %pip install). A recuperação automática não é suportada. Se o teu trabalho falhar devido a pacotes incompatíveis, tens de corrigir manualmente e reexecutar.

Para cargas de trabalho que possam exceder o tempo máximo de execução de 7 dias, implemente pontos de verificação manuais para permitir a retomada. Recomendamos utilizar volumes do Unity Catalog através de UCVolumeWriter e UCVolumeReader a partir de serverless_gpu.data. Veja criação de pontos de verificação do modelo.

API de tarefas e pacotes de automação declarativa

Pode criar e gerir programaticamente trabalhos de IA em tempo de execução usando a API Databricks Jobs ou os Declarative Automation Bundles. Configura o tipo de computação como GPU serverless na definição do teu job ou bundle para automatizar pipelines de implementação.

O exemplo seguinte mostra uma configuração de Declarative Automation Bundles para um trabalho em tempo de execução de IA usando o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: default
          spec:
            environment_version: '4'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Para usar o ambiente de IA Databricks em vez do ambiente Standard, defina base_environment o identificador de ambiente de IA (por exemplo, databricks_ai_v5 para AI v5) no ambiente spec e referencia-o a partir da tarefa environment_key:

Importante

Selecionar um ambiente de IA do Databricks como ambiente base do espaço de trabalho encontra-se em Beta e requer que um administrador do espaço de trabalho ative esta opção. Veja Build para computação de GPU serverless (AI Runtime).

resources:
  jobs:
    sample_job:
      name: sample_job_aiv5_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      parameters:
        - name: catalog
          default: ${var.catalog}
        - name: schema
          default: ${var.schema}

      environments:
        - environment_key: aiv5
          spec:
            base_environment: databricks_ai_v5

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/your_email/your_notebook
          environment_key: aiv5
          compute:
            hardware_accelerator: GPU_8xH100
  • Last updated on