Configure um perímetro de segurança de rede Azure (NSP) para recursos Azure

A computação serverless do Azure Databricks liga-se aos seus recursos cloud através da infraestrutura de rede gerida. Se as firewalls protegem os seus recursos na cloud, deve permitir tráfego com origem em computação sem servidor. O método de configuração depende do tipo de recurso:

• Contas de armazenamento Azure na região do seu espaço de trabalho: Associe a sua conta de armazenamento a um perímetro de segurança de rede (NSP) e permita a etiqueta de AzureDatabricksServerless serviço.

• Outros recursos: Permitir a lista dos endereços IP de saída publicados pelo Azure Databricks.

Configure um perímetro de segurança de rede Azure para contas de armazenamento Azure

Um perímetro de segurança de rede Azure (NSP) é uma funcionalidade incorporada do Azure que cria um limite lógico de isolamento para os seus recursos de plataforma como serviço (PaaS). Quando associa as suas contas de armazenamento a um NSP, gere o tráfego de rede centralmente com um conjunto de regras simplificado, em vez de manter listas complexas de endereços IP individuais ou IDs de sub-rede. Esta secção descreve como configurar um NSP para controlar o acesso computacional serverless às suas contas de armazenamento Azure usando o portal Azure.

O NSP suporta acesso a armazéns SQL serverless, jobs, notebooks, Lakeflow Spark Declarative Pipelines e endpoints de disponibilização de modelos.

Principais benefícios

Usar o NSP para tráfego de saída serverless no Azure Databricks melhora a sua postura de segurança ao mesmo tempo que reduz significativamente a sobrecarga operacional.

Serviços Azure suportados

A etiqueta de serviço AzureDatabricksServerless é suportada apenas para regras NSP de entrada direcionadas a Armazenamento do Azure (incluindo ADLS Gen2) na região do espaço de trabalho.

Requirements

Antes de começar, você deve atender aos seguintes requisitos:

• Você deve ser um administrador de conta do Azure Databricks.
• Deve ter permissões de Contribuidor ou Proprietário no recurso Azure que pretende configurar.
• Deve ter permissão para criar recursos de perímetro de segurança de rede na sua subscrição do Azure.
• O seu espaço de trabalho Azure Databricks e os recursos Azure devem estar na mesma região Azure para um desempenho ótimo e para evitar custos de transferência de dados entre regiões.

Passo 1: Crie um perímetro de segurança de rede e anote o ID do perfil

Para criar o perímetro e anotar o seu ID de perfil, faça o seguinte:

1. Inicie sessão no portal Azure.

2. Na caixa de pesquisa no topo, introduza perímetros de segurança de rede e selecione-o nos resultados.

3. Clique em + Criar.

4. No separador Informações Básicas, introduza as seguintes informações:

   • Assinatura: selecione sua assinatura do Azure.
   • Grupo de recursos: Selecione um grupo de recursos existente ou crie um.
   • Nome: Introduza um nome para o seu NSP (por exemplo, databricks-nsp).
   • Região: Selecione a região para o seu NSP. A região deve corresponder à sua região de espaço de trabalho do Azure Databricks e à região da sua conta de armazenamento Azure.
   • Nome do perfil: Introduza um nome de perfil (por exemplo, databricks-profile).

5. Clique em Rever e criar e, em seguida, Criar.

6. Depois de criar o NSP, aceda-o no portal do Azure.

7. Na barra lateral esquerda, vai a Definições>Perfis.

8. Crie ou selecione o seu perfil (por exemplo, databricks-profile).

9. Copie o ID do Recurso para o perfil. Precisas deste ID para associar recursos programáticamente.

   Tip

   Guarde o ID do perfil num local seguro. Deve tê-lo disponível se quiser associar recursos usando a CLI do Azure ou API em vez do portal Azure.

Passo 2: Associe a sua conta de armazenamento ao NSP em modo de transição

Deve associar cada conta de armazenamento Azure que pretende aceder a partir do Azure Databricks serverless compute ao seu perfil NSP, seguindo os passos abaixo:

1. Vá ao perímetro de segurança de rede no portal Azure.
2. Na barra lateral esquerda, vai a Recursos Associados em Definições.
3. Clique + Adicionar>recursos associados com um perfil existente.
4. Selecione o perfil que criou no Passo 1 (por exemplo, databricks-profile).
5. Clique em Associar.
6. No painel de seleção de recursos, filtre por Microsoft.Storage/storageAccounts para associar uma conta Azure Data Lake Storage Gen2.
7. Selecione as suas contas de armazenamento da lista.
8. Clique em Associar no fundo do painel.

Verificar modo de transição:

1. No NSP, vá a Definições>Recursos associados.
2. Localize a sua conta de armazenamento na lista.
3. Verifica se a coluna Modo de Acesso mostra Transição. A transição é o modo padrão.

Passo 3: Adicionar uma regra de acesso de entrada para a computação sem servidor do Azure Databricks

Deve criar uma regra de acesso de entrada no seu perfil NSP para permitir o tráfego da computação sem servidor do Azure Databricks para os seus recursos do Azure.

1. Vá ao perímetro de segurança de rede no portal Azure.
2. Na barra lateral esquerda, vai a Definições>Perfis.
3. Selecione o seu perfil (por exemplo, databricks-profile).
4. Em Definições, clique em Regras de acesso de entrada.
5. Clique em + Adicionar.
6. Configure a regra:
   • Nome da regra: Insira um nome descritivo (por exemplo, allow-databricks-serverless).
   • Tipo de Fonte: Selecionar Etiqueta de Serviço.
   • Fontes permitidas: Selecionar AzureDatabricksServerless.[ your_workspace_region] (por exemplo, AzureDatabricksServerless.EastUS2). A utilização de uma tag regional limita o acesso aos IPs do Azure Databricks na região do seu espaço de trabalho, o que reduz a exposição em comparação com a tag global.
7. Clique em Adicionar.

Passo 4: Verificar a configuração

Depois de configurar o seu NSP, verifique se a computação serverless do Azure Databricks consegue aceder ao seu armazenamento e monitorizar a atividade do NSP.

Testar o acesso a partir de computação sem servidor

1. Aceda ao seu recurso Azure no portal Azure.

2. Vai para Segurança + rede>Redes.

3. Verifique se o recurso apresenta uma associação com o perímetro de segurança da sua rede.

4. Verifique se o estado mostra o modo Transição.

5. Consulte as regras de entrada associadas ao seu perfil para confirmar que a AzureDatabricksServerless regra está listada (seja regional ou global).

6. No seu espaço de trabalho Azure Databricks, execute uma consulta de teste para confirmar que a computação serverless pode aceder ao seu recurso. Por exemplo, para testar o acesso a uma conta de armazenamento ADLS Gen2:

   SELECT * FROM delta.`abfss://container@storageaccount.dfs.core.windows.net/path/to/data` LIMIT 10;
   

   Se a consulta for bem-sucedida, a configuração do seu NSP está a funcionar corretamente.

Monitorizar a atividade do NSP

Para monitorizar tentativas de ligação que as regras NSP permitem ou recusam:

1. Aceda ao seu recurso Azure no portal Azure.

2. Aceda a Monitorização>Definições de diagnóstico.

3. Clique em +Adicionar definição de diagnóstico.

4. Seleciona as categorias de registos que queres monitorizar. Para contas Armazenamento do Azure, selecione:

   • StorageRead
   • StorageWrite

5. Selecione um destino:

   • Espaço de trabalho de Log Analytics (recomendado para consultas e análises)
   • Conta de armazenamento (para arquivo a longo prazo)
   • Event Hub (para streaming para sistemas externos)

6. Clique em Salvar.

   Tip

   Os registos de diagnóstico mostram tentativas de ligação que correspondem às regras NSP em comparação com as regras de firewall de recursos. No modo de transição, os registos indicam se cada pedido foi permitido por uma regra NSP ou se foi revertido para o firewall de recursos.

Compreender os modos de acesso NSP

O NSP suporta dois modos de acesso: modo de transição e modo forçado. O Azure Databricks recomenda permanecer em modo de transição indefinidamente na maioria dos casos de uso.

Modo de transição (recomendado):

• Avalia primeiro as regras NSP e, em seguida, recorre às regras da firewall de recursos se nenhuma regra NSP corresponder.
• Permite usar o NSP juntamente com configurações de rede existentes.
• Compatível com endpoints de serviço, configurações clássicas de computação e padrões de tráfego de rede pública.

Modo forçado (não recomendado para a maioria dos clientes):

• Ignora as regras do firewall de recursos, bloqueando todo o tráfego que não corresponde a uma regra NSP. O modo forçado afeta não só o Azure Databricks, mas também quaisquer outros serviços que tenha permitido através do seu firewall de recursos — esses serviços devem ter sido integrados no NSP para continuarem a funcionar.
• Permaneça no modo de transição se usar endpoints de serviço para se ligar ao armazenamento a partir de qualquer espaço de trabalho do Azure Databricks.

Configure o acesso a outros recursos usando endereços IP de saída

Para recursos que não sejam contas de armazenamento Azure na mesma região do seu espaço de trabalho, a computação serverless usa endereços IP públicos para aceder aos seus recursos.

Para permitir que servidores sem servidor acedam a recursos com firewalls, deve adicionar os blocos CIDR publicados pelo Azure Databricks à sua lista de permissões. Para mais informações sobre os endereços IP de saída publicados, consulte IPs de saída para a pré-visualização da firewall da computação sem servidor.

Encontre os endereços IP de saída para o seu ambiente

1. Baixar ip-ranges.json.
2. Filtra o JSON para as entradas que se aplicam ao teu espaço de trabalho. Mantém apenas as entradas onde:
   • service é Databricks
   • type é outbound
   • region Corresponde à sua região de espaço de trabalho
   • platform Jogos azure
3. Permita listar os ipv4Prefixes (blocos CIDR) das entradas correspondentes no seu firewall de recursos.

Automatize as atualizações para manter a sua lista de permissões atualizada

Deve automatizar as atualizações da sua lista de permissões. O Azure Databricks altera estes IPs ao longo do tempo, por isso uma cópia estática e única acaba por quebrar a conectividade serverless. As atualizações publicam-se com frequência até uma vez a cada 30 dias, novas IPs tornam-se ativas já 60 dias após a publicação, e novas regiões são adicionadas periodicamente. Para manter a sua lista de permissões atualizada:

1. Obter ip-ranges.json de acordo com uma programação (por exemplo, a cada 30 dias).
2. Compare o respetivo campo timestampSeconds com a sua cópia guardada para detetar alterações.
3. Se isso mudou, verifica se os IPs do teu platform e region mudaram.
4. Atualize a sua lista de permissões do firewall com quaisquer IPs novos.
5. Guarde o ficheiro para a próxima comparação.

Considerations

Veja as seguintes considerações antes de configurar um firewall para computação serverless:

• Configurar um firewall também afeta a conectividade dos recursos de computação clássicos. Também deve atualizar as suas regras de acesso a recursos para permitir os IPs para ligações a partir de recursos de computação clássicos.
• Aguarde algum tempo pela propagação das regras de firewall antes de testar a conectividade a partir de um ambiente de computação sem servidor.

Passos seguintes

• Configure a conectividade privada aos recursos da sua VPC: Use o PrivateLink para estabelecer acesso seguro e isolado aos recursos da sua VPC a partir de computação serverless. Consulte Configurar conectividade privada para recursos em sua rede virtual.
• Gerir regras de endpoint privado: Visualize, atualize e remova regras de endpoint privado para a sua configuração de conectividade de rede. Consulte Gerir as regras de ponto de extremidade privado.