Lakehouse Real-Time

Lakehouse Real-Time (Lakehouse//RT) é uma computação sem servidor criada para casos de uso de baixa latência e alta simultaneidade, como fornecer dados analíticos para aplicativos personalizados, executar análise operacional ou alimentar painéis de BI que exigem respostas de sub-segundo para centenas a milhares de usuários simultâneos.

O Lakehouse//RT oferece latência inferior a um segundo em consultas SQL de leitura nas tabelas do Unity Catalog que usam os formatos Delta Lake ou Apache Iceberg e estão armazenadas na nuvem. Você cria e gerencia o Lakehouse//RT da mesma forma que faz com outros sql warehouses. Um administrador de workspace ou usuário privilegiado cria um ou mais por workspace e atribui permissões aos usuários.

Requirements

Para usar o Lakehouse//RT, você deve:

• Esteja em uma região com suporte.
• Habilite o Lakehouse//RT Beta em seu workspace.

Habilitar o Lakehouse//RT em seu workspace

Os administradores do workspace podem habilitar o Lakehouse//RT Beta em seu workspace:

1. No menu do workspace (canto superior direito), vá para Visualizações.
2. Pesquise por Lakehouse RT.
3. Habilite a visualização.

Depois de habilitar a prévia, o tipo de warehouse Real-Time fica disponível no fluxo de criação de SQL Warehouse no seu workspace.

Criar um depósito do Lakehouse//RT

Para criar um armazém Lakehouse//RT:

1. Vá para Compute>Armazéns SQL>Criar armazém SQL.
2. Selecione em tempo real.
3. Selecione um tamanho: Pequeno, Médio, Grande ou X-Grande, dependendo do desempenho que suas consultas exigem.
4. Insira um nome para o armazém.
5. Clique em Criar.

Para atribuir permissões, conceda pode usar, pode monitorar ou pode gerenciar para usuários e grupos, o mesmo que um sql warehouse.

Monitoramento da atividade do Lakehouse//RT

Você pode monitorar as consultas do Lakehouse//RT da mesma forma que qualquer consulta executada em um SQL Warehouse:

• Histórico de consultas: As consultas Lakehouse//RT aparecem na interface do usuário do histórico de consultas e na tabela do sistema de histórico de consultas.
• Perfis de consulta: Abra uma consulta Lakehouse//RT na interface do histórico de consultas para ver seu perfil de consulta.
• Página de monitoramento: Monitore a taxa de processamento de consultas, as consultas enfileiradas e o histórico de consultas na página de monitoramento de cada warehouse do Lakehouse//RT.
• Faturamento: o uso do Lakehouse//RT aparece nas tabelas do sistema de faturamento com um sku_name de Lakehouse_Serverless.

Práticas recomendadas

Para obter os melhores resultados do Lakehouse//RT, prepare suas cargas de trabalho antes de movê-las:

• Valide primeiro no SQL sem servidor. Execute suas consultas em um SQL Warehouse sem servidor e confirme se elas são executadas em alguns segundos.
• Use tabelas gerenciadas do Catálogo do Unity. Tabelas gerenciadas com otimização preditiva e clustering líquido garantem que seus dados fiquem bem agrupados de acordo com seus padrões de carga de trabalho.
• Verifique se as consultas são seletivas. Para obter latência inferior a um segundo, verifique se suas consultas processam menos dados. Filtre desde o início com cláusulas WHERE, selecione apenas as colunas de que você precisa e use agregações. Há suporte para a junção entre tabelas, mas se você achar sua consulta complexa ou lenta, considere usar exibições materializadas que pré-agregam seus dados para latências mais rápidas.
• Verifique a cobertura do SQL. O Lakehouse//RT dá suporte apenas a consultas de leitura compatíveis com ANSI. Confirme se suas cargas de trabalho são compatíveis com ANSI e evite instruções sem suporte, funções e tipos de dados listados em Limitações.

Recursos com suporte

Ferramentas e interfaces

Você pode selecionar Lakehouse//RT no seletor de computação em qualquer um dos seguintes recursos de Azure Databricks:

• Editor de SQL
• Blocos de anotações SQL
• Painéis de IA/BI
• Gerenciador de Catálogos
• Alerts

Tipos de tabela

Lakehouse//RT consulta somente dados do Catálogo do Unity. Para obter melhor desempenho, use tabelas gerenciadas do Catálogo do Unity, que fornecem ao mecanismo o layout de dados necessário para baixa latência.

Lakehouse//RT dá suporte aos seguintes tipos de tabela:

• Tabelas gerenciadas (tabelas Delta Lake e Apache Iceberg)
• Visões materializadas e tabelas de fluxo
• Exibições de métricas

Connectivity

Lakehouse//RT aceita apenas conexões que utilizam a API de Execução de Comandos. Ele não dá suporte ao protocolo Thrift herdado, portanto, um driver que se conecta sem usar explicitamente a API de Execução de Instrução recebe um 501 erro.

Você pode se conectar a um armazém Lakehouse//RT das seguintes maneiras:

• API de execução de instrução: Chame a API diretamente de aplicativos externos. Consulte a API de Execução de Instrução: execute o SQL em armazéns.
• Databricks SQL drivers: os seguintes drivers podem se conectar quando configurados para usar a API de Execução de Instruções. Aponte o caminho HTTP do driver em seu armazém Lakehouse//RT e defina a seguinte opção:
  • Conector SQL do Databricks para Python: Defina use_kernel=True.
  • Driver SQL do Databricks para Node.js: Defina useKernel: true.
  • JDBC: Definido UseThriftClient=0 na URL de conexão.

Pricing

Para obter informações sobre preços, consulte a página de preços do Lakehouse Real-Time .

Limitations

Quando uma consulta usa um recurso sem suporte, Lakehouse//RT retorna um erro ao nomear o recurso. Para executar a consulta com êxito, use um SQL Warehouse sem servidor.

Ferramentas e funcionalidades

Lakehouse//RT ainda não dá suporte aos seguintes recursos:

• Agentes do Genie
• Espaços Genie
• Tarefas de Jobs

Tipos de tabela

Os seguintes tipos de tabela ainda não têm suporte:

• Tabelas do sistema
• Tabelas de compartilhamento Delta
• Tabelas no armazenamento padrão do Unity Catalog
• Tabelas externas no Catálogo do Unity

Lakehouse//RT não dá suporte aos seguintes tipos de tabela:

• Tabelas do metastore do Hive (gerenciadas ou externas)
• Tabelas externas e federação de consultas (Lakehouse Federation)
• Tabelas temporárias
• Tabelas que usam outros formatos de dados (CSV, JSON, Avro, Parquet, ORC e texto)

Drivers e conectores

O Lakehouse//RT não dá suporte aos seguintes drivers e conectores:

• ADBC
• ODBC
• Go

Linguagem SQL

O Lakehouse//RT executa consultas de leitura SQL somente no modo ANSI .

Lakehouse//RT não dá suporte ao seguinte:

• Tipos de dados: Os tipos de dados GEOGRAPHY e GEOMETRY.
• Funções: Funções de IA, Python UDFs, funções SQL espaciais e funções XPath e XML.
• Governança: controle de acesso baseado em atributos (ABAC), incluindo segurança em nível de linha e mascaramento de colunas.

Lakehouse//RT é somente para consultas de leitura (SELECT). Não há suporte para comandos de gravação e ETL, incluindo:

• Operações de gravação:INSERT, UPDATE, DELETE, e MERGECREATE TABLE AS SELECT (CTAS).
• DDL:CREATE, ALTER, DROPe outras instruções que criam ou modificam objetos.
• Instruções de segurança:GRANT e REVOKE.
• Scripting, procedimentos armazenados, tabelas temporárias e transações com várias instruções.
• Manutenção do Delta Lake:OPTIMIZE, ANALYZEe VACUUMREFRESH.

Segurança de rede

O Lakehouse//RT ainda não dá suporte às seguintes configurações de rede:

• Link Privado de Saída (sem servidor)
• perímetro de segurança de rede do Azure

• Controle de saída sem servidor

Compliance

Atualmente , não há suporte para perfis de segurança de conformidade.

Problemas conhecidos

• Lakehouse//RT usa regras diferentes para coerção implícita de tipos e conversão do que outros tipos de SQL warehouse. Consultas que dependem da conversão de tipo implícito, como comparar cadeias de caracteres e números, executar aritmética em valores de cadeia de caracteres ou usar COALESCE entre tipos incompatíveis, podem retornar diferentes tipos de resultados ou valores ou falhar. Para obter resultados previsíveis, use expressões explícitas CAST .