Espelhando Floco de Neve em Microsoft Fabric

Mirroring em Fabric fornece uma experiência fácil para evitar ETL complexo (Extração, Transformação e Carga) e integrar seus dados existentes do Snowflake com o restante de seus dados no Microsoft Fabric. Você pode replicar continuamente os dados existentes do Snowflake diretamente no OneLake do Fabric. No Fabric, você pode desbloquear poderosos cenários de business intelligence, inteligência artificial, Engenharia de Dados, Ciência de Dados e compartilhamento de dados.

Para um tutorial sobre como configurar seu banco de dados Snowflake para espelhamento no Microsoft Fabric, consulte Tutorial: Configurar bancos de dados espelhados Microsoft Fabric do Snowflake.

Por que usar o Espelhamento no Fabric?

Com o Espelhamento no Fabric, você não precisa integrar serviços diferentes de vários fornecedores. Em vez disso, você pode desfrutar de um produto altamente integrado, de ponta a ponta e fácil de usar, que foi projetado para simplificar suas necessidades de análise e criado para abertura e colaboração entre a Microsoft, Snowflake, e milhares de soluções tecnológicas que podem ler o formato de tabela Delta Lake de código aberto.

Quais experiências de análise são integradas?

Bancos de dados espelhados são um item no Fabric Data Warehousing distinto do Warehouse e do ponto de extremidade de análise do SQL.

O espelhamento cria estes itens no workspace do Fabric:

• O item de banco de dados espelhado. Isso permite cenários downstream, como engenharia de dados, ciência de dados e muito mais. Gerenciamento de espelhamento:
  • A replicação da tabela gerenciada e a exibição de dados no OneLake e a conversão em Parquet, em um formato pronto para análise.
  • A replicação dos metadados da tabela Iceberg no OneLake usando atalhos e conversão no armazenamento que contém as tabelas do Iceberg. O OneLake converte automaticamente essas tabelas Iceberg em tabelas no formato Delta Lake para uso em cargas de trabalho do Fabric.
• Um endpoint de análise SQL

Cada banco de dados espelhado tem um endpoint de análise SQL gerado automaticamente que fornece uma experiência analítica avançada com as Tabelas Delta criadas pelo processo de espelhamento. Os usuários têm acesso a comandos T-SQL familiares que podem definir e consultar objetos de dados, mas não manipular dados do endpoint de análise SQL, já que é uma cópia em modo somente leitura. Você pode executar as seguintes ações no endpoint de análise do SQL:

• Explore as tabelas que fazem referência aos dados em suas tabelas do Delta Lake do Snowflake.
• Não crie consultas e exibições de código e explore dados visualmente sem escrever uma linha de código.
• Desenvolva exibições SQL, TVFs embutidas (Funções com valor de tabela) e procedimentos armazenados para encapsular sua semântica e lógica de negócios no T-SQL.
• Gerenciar permissões nos objetos.
• Consultar dados em outros Warehouses e Lakehouses no mesmo espaço de trabalho.

Além do editor de consultas SQL, há um amplo ecossistema de ferramentas que podem consultar o endpoint de análise SQL, incluindo SQL Server Management Studio (SSMS), a extensão MSSQL para Visual Studio Code e até GitHub Copilot.

Tipos de objeto Snowflake com suporte

A tabela a seguir lista quais tipos de objeto Snowflake têm suporte para espelhamento:

Considerações de segurança

Para habilitar o espelhamento do Fabric, você precisará de permissões de usuário para o banco de dados Snowflake que contém as seguintes permissões:

• CREATE STREAM
• SELECT table
• SHOW tables
• DESCRIBE tables

Para obter mais informações, consulte a documentação do Snowflake sobre Controle de Acesso Privileges for Streaming tables e Required Permissions for Streams.

Métodos de autenticação permitidos

A tabela a seguir lista quais métodos de autenticação têm suporte para espelhamento para Snowflake:

Espelhando Floco de Neve atrás do firewall

Verifique os requisitos de rede para acessar sua fonte de dados snowflake. Se a fonte de dados Snowflake não estiver acessível publicamente e estiver dentro de uma rede privada, crie um gateway de dados de rede virtual ou instale um gateway de dados local para espelhar os dados. A Rede Virtual do Azure ou a rede da máquina de gateway deve se conectar à instância do Snowflake por meio de um ponto de extremidade privado ou ser autorizada pela regra de firewall. Para começar, consulte Tutorial: Configurar bancos de dados espelhados Microsoft Fabric a partir do Snowflake.

Link Privado e identidade do espaço de trabalho:

• Link Privado: ainda não há suporte para conectividade Link Privado direta entre um workspace Fabric e o Snowflake. Nesse ínterim, use um gateway de dados de rede virtual ou um gateway de dados local para conectividade privada.
• Identidade do workspace: no momento, a autenticação de identidade do workspace não é compatível com o espelhamento do Snowflake.

Considerações de custo para o recurso Mirrored Snowflake

A computação de malha usada para replicar seus dados no Fabric OneLake é gratuita. O custo de armazenamento de espelhamento é gratuito até um limite com base na capacidade. Para obter mais informações, consulte Cost de espelhamento e Microsoft Fabric Pricing. A computação para consultar dados usando SQL, Power BI ou Spark é cobrada a taxas regulares.

O Fabric não cobra taxas de entrada de dados de rede no OneLake for Mirroring.

Há custos de computação e de consultas em nuvem do Snowflake quando os dados estão sendo espelhados: custos de computação de armazém virtual e processamento de serviços em nuvem.

• Encargos de computação do armazém virtual Snowflake:
  • Os custos de computação serão cobrados do lado do Snowflake se houver alterações de dados que estão sendo lidas no Snowflake e, por sua vez, estão sendo espelhadas no Fabric.
  • As consultas de metadados executadas nos bastidores para verificar se há alterações de dados não são cobradas por nenhuma computação Snowflake; no entanto, as consultas que produzem dados como um SELECT * ativarão o armazém Snowflake e a computação será cobrada.
• Encargos de computação dos serviços Snowflake
  • Embora não haja encargos de computação para tarefas de bastidores, como criação, consultas de metadados, controle de acesso, exibição de alterações de dados e até consultas DDL, há custos de nuvem associados a essas consultas.
  • Dependendo do tipo de edição Snowflake que você tem, você será cobrado pelos créditos correspondentes pelos custos dos serviços de nuvem.

Na captura de tela a seguir, você pode ver os custos de computação envolvendo o armazém virtual e os serviços em nuvem para o banco de dados Snowflake associado que está sendo espelhado no Fabric. Nesse cenário, a maioria dos custos de computação dos serviços de nuvem (em amarelo) vem de consultas de alteração de dados com base nos pontos mencionados anteriormente. Os encargos de computação do armazém virtual (em azul) derivam estritamente das alterações de dados que são lidas do Snowflake e replicadas no Fabric.

Recomendações de otimização de custo

Para minimizar os custos de computação do Snowflake com o espelhamento, considere as seguintes práticas recomendadas:

• Reutilizar um armazém existente. Em vez de criar um warehouse dedicado para espelhamento, configure o espelhamento para usar o mesmo warehouse que seus aplicativos já usam para atualizar as tabelas de origem. Essa abordagem evita ciclos desnecessários de ativação e suspensão automática do armazém. Quando seu aplicativo atualiza uma tabela, o replicador de espelhamento capta as alterações quase imediatamente, enquanto o data warehouse ainda está ativo, portanto não é necessário reativar um data warehouse separado. Algumas organizações podem preferir um armazém dedicado para isolamento de orçamento. Essa preferência é uma compensação entre a economia de custos e a granularidade orçamentária.
• Espelhar somente as tabelas de que você precisa. O espelhamento de um banco de dados inteiro pode causar um consumo inesperadamente alto no Snowflake e picos de capacidade no Fabric. Comece selecionando apenas as tabelas necessárias para seus cenários de análise. Você pode adicionar tabelas mais tarde, conforme necessário.
• Monitore se há ressemeaduras inesperadas. Um reseed (recarregamento completo de dados) processa toda a tabela e incorre no custo de computação proporcional ao tamanho da tabela. Alterações de esquema — incluindo as desencadeadas por ferramentas como o dbt — podem causar reinicializações contínuas. Monitore a página Status de Espelhamento para tabelas que mostram o comportamento repetido de cópia inicial e examine a seção Resseeding abaixo para obter gatilhos e diretrizes de solução de problemas.
• Lembre-se de que o espelhamento é executado continuamente. Atualmente, o espelhamento não dá suporte a janelas de agendamento ou replicação. O replicador verifica continuamente se há alterações, o que gera consumo contínuo de computação no Snowflake. Planeje seus orçamentos para o Snowflake de acordo com isso.

Para obter mais informações sobre os custos de consulta de nuvem específicos do Snowflake, consulte documentos do Snowflake: Noções básicas sobre o custo geral.

Próxima etapa

Conteúdo relacionado

• Como proteger os dados dos bancos de dados espelhados do Microsoft Fabric a partir do Snowflake
• Monitorar a replicação de banco de dados espelhado do Fabric