Habilite o suporte de firewall para sua conta de armazenamento do workspace

Cada workspace do Azure Databricks tem uma conta de armazenamento Azure associada em um grupo de recursos gerenciado conhecido como conta de armazenamento do workspace. Esta conta contém dados do sistema do espaço de trabalho (saída de tarefas, configurações do sistema e logs), a raiz do Sistema de Arquivos do Databricks e, em alguns casos, um catálogo do espaço de trabalho do Catálogo do Unity. Você pode limitar o acesso à sua conta de armazenamento do workspace somente para recursos e redes autorizados, usando o CLI do Azure ou o PowerShell.

Qual é o suporte de firewall para sua conta de armazenamento do workspace?

Por padrão, sua conta de armazenamento do workspace aceita conexões autenticadas de todas as redes. Quando você habilita o suporte ao firewall, Azure Databricks bloqueia o acesso à rede pública e restringe o acesso somente a recursos autorizados. Talvez você queira configurar isso se sua organização tiver políticas de Azure que exijam que as contas de armazenamento sejam privadas.

Quando o suporte a firewall está habilitado, os serviços externos ao Azure Databricks que precisam acessar a conta de armazenamento do espaço de trabalho devem usar pontos de extremidade privados com o Link Privado. A computação sem servidor do Azure Databricks deve usar pontos de extremidade de serviço ou pontos de extremidade privados para acessar a conta de armazenamento do espaço de trabalho.

Azure Databricks cria um conector de acesso com uma identidade gerenciada do Azure para acessar a conta de armazenamento da área de trabalho.

Requisitos

• O espaço de trabalho deve habilitar a injeção de VNet para conexões a partir do plano de computação clássico.

• Seu espaço de trabalho deve habilitar conectividade segura de cluster (sem IP público/NPIP) para conexões do plano de computação clássico.

• Seu workspace deve estar no plano Premium.

• Você deve ter uma sub-rede separada para endpoints privados da conta de armazenamento. Isso se soma às duas principais sub-redes para a funcionalidade básica de Azure Databricks.

  A sub-rede deve estar na mesma VNet que o espaço de trabalho ou numa VNet separada que o espaço de trabalho possa aceder. Use o tamanho mínimo /28 na notação CIDR.

• Se você estiver usando o Cloud Fetch com o serviço Microsoft Fabric Power BI, deverá sempre usar um gateway do VNet ou um gateway local para obter acesso privado à conta de armazenamento do workspace. Consulte Etapa 2 (recomendado): configurar pontos de extremidade privados para VNets do cliente Cloud Fetch.

• Para os métodos de implantação da CLI do Azure ou do PowerShell, você deve criar um conector de acesso do Azure Databricks e salvar seu ID de recurso antes de habilitar o firewall de armazenamento do espaço de trabalho padrão. Isso requer o uso de uma identidade gerenciada atribuída pelo sistema ou atribuída pelo usuário. Consulte Acessar Conector para Databricks. Você não pode usar o conector de acesso Azure Databricks no grupo de recursos gerenciados.

Conectar serviços fora de Azure Databricks com a conta de armazenamento

Etapa 1: Criar endpoints privados para a conta de armazenamento

Crie dois pontos de extremidade privados para a conta de armazenamento do seu espaço de trabalho a partir da VNet usada para injeção de VNet para os valores Sub-recurso de destino: dfs e blob.

1. Vá até seu espaço de trabalho.

2. Em Essentials, clique no nome do Grupo de Recursos Gerenciados.

3. Em Recursos, observe o nome da sua conta de armazenamento do workspace. O nome geralmente começa com dbstorage.

4. Na caixa de pesquisa na parte superior do portal, insira e selecione Private endpoint.

5. Clique em + Criar.

6. No campo Grupo de recursos nome, defina seu grupo de recursos.

   Importante

   Esse grupo de recursos não deverá ser o mesmo grupo de recursos gerenciado no qual a conta de armazenamento do espaço de trabalho estiver localizada.

7. No campo Nome , insira um nome exclusivo para este ponto de extremidade privado:

   • Para o primeiro ponto de extremidade privado criado para cada rede de origem, crie um ponto de extremidade DFS. Azure Databricks recomenda adicionar o sufixo -dfs-pe.
   • Para o segundo ponto de extremidade privado que cria para cada rede de origem, crie um ponto de extremidade Blob. Azure Databricks recomenda adicionar o sufixo -blob-pe.

   O campo Nome da interface de rede é preenchido automaticamente.

8. Defina o campo Região para a região do seu espaço de trabalho.

9. Clique em Avançar: Recurso.

10. No método Connection, selecione Conectar para um recurso de Azure em meu diretório.

11. Em Assinatura, selecione a assinatura na qual seu espaço de trabalho está.

12. No tipo de recurso, selecione Microsoft.Storage/storageAccounts.

13. No Recurso, selecione sua conta de armazenamento do workspace.

14. No recurso subordinado de destino, selecione o tipo de recurso de destino.

    • Para o primeiro ponto de extremidade privado criado para cada rede de origem, defina-o como dfs.
    • Para o segundo ponto de extremidade privado que você cria para cada rede de origem, defina como blob.

15. Clique em Next: Rede Virtual.

16. No campo Rede virtual, selecione uma VNet.

17. No campo de sub-rede, defina a sub-rede como a sub-rede separada que você tem para os pontos de extremidade privados da conta de armazenamento.

    Este campo pode ser preenchido automaticamente com a sub-rede para seus pontos de extremidade privados, mas talvez seja necessário defini-lo explicitamente. Não utilize as duas sub-redes do espaço de trabalho para a funcionalidade básica do Azure Databricks, que normalmente são chamadas de private-subnet e public-subnet.

18. Altere a configuração de IP privado e os padrões do grupo de segurança do aplicativo, se necessário.

19. Clique em Avançar: DNS. A guia DNS é preenchida automaticamente para a assinatura correta e o grupo de recursos que você selecionou anteriormente. Altere-os se necessário.

    Observação

    Se nenhuma zona DNS privada para o tipo de sub-recurso de destino (dfs ou blob) estiver anexada à VNet do espaço de trabalho, o Azure criará uma nova zona DNS privada. Se uma zona DNS privada para esse tipo de sub-recurso já existir na VNet do workspace, Azure a selecionará automaticamente. Uma VNet pode ter apenas uma zona DNS privada por tipo de sub-recurso.

20. Clique em Avançar: Marcas e adicione tags, se desejar.

21. Clique em Avançar: Revisar + criar e revise os campos.

22. Clique em Criar.

Etapa 2 (recomendada): configurar pontos de extremidade privados para as VNets do cliente Cloud Fetch

O Cloud Fetch é um mecanismo no ODBC e no JDBC que busca dados em paralelo por meio do armazenamento em nuvem para fornecer dados mais rapidamente às ferramentas de BI. Se você buscar resultados de consulta maiores que aproximadamente 5 MiB das ferramentas de BI, provavelmente estará usando o Cloud Fetch.

Se você usa o Cloud Fetch, crie pontos de extremidade privados para a conta de armazenamento do espaço de trabalho a partir das VNets dos seus clientes Cloud Fetch.

Para cada rede de origem para clientes do Cloud Fetch, crie dois endpoints privados que usam dois valores diferentes de sub-recurso-alvo: dfs e blob. Consulte Etapa 1: criar pontos de extremidade privados para a conta de armazenamento para obter instruções detalhadas. Nessas etapas, para o campo Rede virtual ao criar o ponto de extremidade privado, certifique-se de especificar sua VNet de origem para cada cliente do Cloud Fetch.

Etapa 3: Confirmar as aprovações do Endpoint

Após criar todos os pontos de extremidade privados para a conta de armazenamento, verifique se eles foram aprovados. Eles podem aprovar automaticamente ou talvez seja necessário aprová-los na conta de armazenamento.

1. Vá para o seu espaço de trabalho no portal do Azure.
2. Em Essentials, clique no nome do Grupo de Recursos Gerenciados.
3. Em Recursos, clique no recurso do tipo Conta de armazenamento que tem um nome que começa com dbstorage.
4. Na barra lateral, clique em Rede.
5. Clique em Conexões de Endpoint Privado.
6. Verifique o Estado da conexão para confirmar se eles dizem Aprovado ou selecione-os e clique em Aprovar.

Conexões da computação sem servidor

Quando você habilita o suporte ao firewall, o Azure Databricks integra automaticamente a conta de armazenamento do espaço de trabalho a um perímetro de segurança de rede que permite a tag de serviço AzureDatabricksServerless. Isso permite que a computação sem servidor do Azure Databricks se conecte por meio de pontos de extremidade de serviço. Para conectar-se por meio de pontos de extremidade privados, adicione uma regra de ponto de extremidade privado ao seu NCC para a conta de armazenamento do espaço de trabalho. Consulte Configuração de conectividade privada para recursos do Azure.

Se você quiser gerenciar seu próprio perímetro de segurança de rede, poderá desanexar o perímetro de segurança de rede provisionado Azure Databricks e anexar o seu próprio. A substituição causa uma breve pausa no serviço. Prepare com antecedência para a substituição do perímetro de segurança da rede e planeje uma janela de manutenção.

Habilitar o suporte ao firewall de armazenamento usando o CLI do Azure

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo sistema, em Cloud Shell executar:

  az databricks workspace update \
     --resource-group "<resource-group-name>" \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --default-storage-firewall "Enabled" \
     --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"SystemAssigned\"}"
  

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo usuário, em Cloud Shell executar:

  az databricks workspace update \
  --resource-group "<resource-group-name>" \
  --name "<workspace-name>" \
  --subscription "<subscription-id>" \
  --default-storage-firewall "Enabled" \
  --access-connector "{\"id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>\", \"identity-type\":\"UserAssigned\", \"user-assigned-identity-id\":\"/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>\"}"
  

• Para desabilitar o suporte ao firewall usando o conector de acesso, em Cloud Shell executar:

  az databricks workspace update \
     --name "<workspace-name>" \
     --subscription "<subscription-id>" \
     --resource-group "<resource-group-name>" \
     --default-storage-firewall "Disabled"
  

Habilitar o suporte ao firewall de armazenamento usando o PowerShell

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo sistema, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "SystemAssigned" `
     -DefaultStorageFirewall "Enabled"
  

• Para habilitar o suporte ao firewall usando o conector de acesso com uma identidade atribuída pelo usuário, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -Sku "Premium" `
     -AccessConnectorId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.Databricks/accessConnectors/<access-connector-name>" `
     -AccessConnectorIdentityType "UserAssigned" `
     -AccessConnectorUserAssignedIdentityId "/subscriptions/<subscription-id>/resourceGroups/<resource-group-name>/providers/Microsoft.ManagedIdentity/userAssignedIdentities/<managed-identity-name>" `
     -DefaultStorageFirewall "Enabled"
  

• Para desabilitar o suporte ao firewall usando o conector de acesso, em Cloud Shell executar:

  Update-AzDatabricksWorkspace `
     -Name "<workspace-name>" `
     -ResourceGroupName "<resource-group-name>" `
     -SubscriptionId "<subscription-ID>" `
     -DefaultStorageFirewall "Disabled"