Monitorar pipelines na interface do usuário

Monitore os pipelines do Lakeflow na interface do usuário do Azure Databricks para acompanhar o andamento das atualizações, receber alertas sobre eventos do pipeline e visualizar métricas da origem de streaming. Esses recursos internos dão suporte a tarefas como:

• Observando o progresso e o status das atualizações de linha de produção. Consulte os detalhes do Pipeline disponíveis na página de monitoramento.
• Alertas sobre eventos de pipeline, como o êxito ou a falha das atualizações de pipeline. Confira Adicionar notificações por email nos eventos do pipeline.
• Exibindo métricas para fontes de streaming como Apache Kafka e Carregador Automático (Visualização Pública). Confira Exibir métricas de streaming.

Adicionar notificações por email para eventos de pipeline

Você pode configurar um ou mais endereços de email para receber notificações quando o seguinte ocorrer:

• Uma atualização de pipeline for concluída com êxito.
• Falha na atualização do pipeline, com um erro que pode ou não ser repetido. Selecione esta opção para receber uma notificação para todas as falhas de pipeline.
• Uma atualização do pipeline falha com um erro que pode ou não ser repetido (fatal). Selecione esta opção para receber uma notificação somente quando ocorrer um erro não retível.
• Um único fluxo de dados falha.

Para definir notificações por email, edite as configurações de um pipeline. Consulte Notificações.

Ver fluxos na interface do usuário

Localize seu pipeline no Opção Trabalhos & Pipelines na barra lateral do espaço de trabalho. Isso abre a página Trabalhos e pipelines, na qual você pode exibir informações sobre cada trabalho e pipeline ao qual tem acesso. Clique no nome de um pipeline para abrir a página de monitoramento dele. Para editar o trabalho ou pipeline, clique no e escolha Editar.

Use a lista de trabalhos e pipelines

Para exibir a lista de pipelines aos quais você tem acesso, clique no Trabalhos &pipelines na barra lateral. A guia Trabalhos e pipelines lista informações sobre todos os trabalhos e pipelines disponíveis, como o criador, o gatilho (se houver) e o resultado das últimas cinco execuções.

Clicar no nome de um pipeline ou tarefa leva você à página de monitoramento desse pipeline ou trabalho. Para editar o pipeline ou o trabalho, clique no Em seguida, selecione Editar.

Para alterar as colunas exibidas na lista, clique no de coluna e selecione ou desmarque colunas. Por exemplo, para adicionar a Pipeline Type coluna como uma, selecione essa coluna para exibir.

Você pode filtrar trabalhos na lista de Trabalhos e pipelines conforme mostrado na captura de tela a seguir.

1. Pesquisa de texto: há suporte para a pesquisa de palavra-chave para os campos Nome e ID . Para pesquisar uma marca criada com uma chave e um valor, você pode pesquisar pela chave, pelo valor ou pela chave e pelo valor. Por exemplo, para uma marca com a chave department e o valor finance, você pode pesquisar department ou finance para encontrar trabalhos correspondentes. Para pesquisar pela chave e pelo valor, insira a chave e o valor separados por dois-pontos (por exemplo, department:finance).
2. Tipo: filtrar por Trabalhos, Pipelines ou Todos. Se você selecionar Pipelines, poderá também filtrar pelo tipo de pipeline, que abrange os pipelines de ETL e de ingestão.
3. Proprietário: mostre apenas os trabalhos que você possui.
4. Favoritos: mostrar trabalhos que você marcou como favoritos.
5. Marcas: Use marcas. Para pesquisar por marca, você pode usar o menu suspenso de marcas para filtrar até cinco marcas ao mesmo tempo ou usar diretamente a pesquisa de palavras-chave.
6. Executar como: filtrar por até dois valores run as.

Para iniciar um trabalho ou um pipeline, clique no botão de reprodução. Para parar um trabalho ou um pipeline, clique no botão de parada. Para acessar outras ações, clique no . Por exemplo, você pode editar ou excluir o trabalho ou o pipeline, ou acessar as configurações de um pipeline a partir desse menu.

Detalhes do pipeline disponíveis na página de monitoramento

Clicar no nome de um pipeline na página Trabalhos e Pipelines mostra a página de monitoramento desse pipeline. A partir daqui, você pode iniciar uma execução de pipeline e exibir os detalhes da execução anterior.

O grafo do pipeline, também chamado de grafo acíclico direcionado (DAG), é exibido assim que uma atualização em um pipeline é iniciada com sucesso. As setas representam dependências entre conjuntos de dados em seu pipeline. Por padrão, a página de monitoramento de pipeline mostra a atualização mais recente da tabela, mas você pode selecionar atualizações mais antigas em um menu suspenso.

O painel direito mostra os detalhes do pipeline na parte superior, incluindo a ID do pipeline, o custo de computação, a edição do produto e o canal. Os detalhes da atualização aparecem abaixo dos detalhes do pipeline. Para acessar o código-fonte do pipeline, clique em Editar pipeline na parte superior da página. Para navegar até o código de uma tabela específica, passe o mouse sobre a tabela no grafo de pipeline e clique no Navegue até o código.

Para ver uma visualização tabular de conjuntos de dados, clique na guia Lista. A visualização Lista permite que você veja todos os conjuntos de dados em seu pipeline representados como uma linha em uma tabela e é útil quando o grafo de pipeline é muito grande para visualizar na visualização Graph. Você pode controlar os conjuntos de dados exibidos na tabela usando vários filtros, como nome, tipo e status do conjunto de dados. Para voltar para o gráfico do pipeline, clique em Graph.

O usuário Executar como é o proprietário do pipeline e as atualizações de pipeline são executadas com as permissões desse usuário. Para alterar o run as usuário, clique em Permissões e altere o proprietário do pipeline.

Alterações na versão preliminar da Lista de execuções unificadas.

Se você tiver a versão preliminar da Lista de Execuções Unificadas ativada, poderá ver atualizações de execução de pipeline na página Trabalhos e Pipelines.

Para acessar a lista e execuções unificadas, selecione Execuções da barra lateral do workspace, ou Clique em Trabalhos e Pipelines. Depois, escolha a guia Execuções.

A guia mostra uma lista de execuções recentes nos últimos 60 dias. Um gráfico mostrando as execuções bem-sucedidas e falhas nas últimas 48 horas é exibido primeiro, nos seguintes casos:

• Você está filtrado apenas para Tarefas ou Pipelines.
• Você é um administrador, ou filtra somente para execuções Run as: Me
• Execuções podem levar até uma hora para aparecerem no gráfico.

Você pode filtrar a lista e o grafo:

• Nome do trabalho ou pipeline.
• Todos, trabalhos ou pipelines.
• Tipo de pipeline (ETL, Ingestão, MV/ST ou Sincronização de Tabela de Banco de Dados).
• O usuário Executar como.
• A hora de início da execução (nas últimas 48 horas).
• O Status de execução.
• O código de erro para execuções com falha.

Além do indicado acima, você pode exibir as seguintes colunas na lista:

• Hora de término
• ID de Execução
• Se a execução foi iniciada manualmente ou por um agendamento.
• Duração da execução.
• Executar parâmetros.

Para alterar as colunas exibidas na lista de execuções, clique no e selecione ou desmarque as colunas.

Clicar na hora de início, hora de término ou nome de uma execução de pipeline leva você para a página de monitoramento do pipeline.

Quando um pipeline está em execução ativamente, você pode interromper a execução clicando no A qualquer momento, você também pode clicar no botão de menu na linha para a execução e escolher Editar pipeline para exibir o pipeline no editor.

Exibir detalhes do conjunto de dados

Clicar em um conjunto de dados no gráfico de pipeline ou na lista de conjuntos de dados mostra informações sobre o conjunto de dados no painel inferior. O painel à direita continua a mostrar detalhes do pipeline e de atualizações.

• Esquema: escolha a tabela na guia Tabelas do painel inferior e selecione Colunas.
• Métricas de qualidade de dados: Acessível no painel inferior quando uma tabela é selecionada.
• Código-fonte: Para navegar até o código de uma tabela específica, passe o mouse sobre a tabela no gráfico de pipeline e clique no botão Navegar até o código.
• Histórico de consultas: escolha Desempenho no painel inferior.
• Comentários da tabela: Os comentários da tabela não estão disponíveis na página de detalhes do pipeline. Para exibir os comentários da tabela, abra a tabela no Gerenciador de Catálogos. Para ir diretamente para a tabela, passe o mouse sobre ela no gráfico do pipeline, clique no e, em seguida, clique no Exibir no catálogo. Para acessar o Gerenciador de Catálogos na lista de tabelas no painel inferior, clique no

Exibir o histórico de atualizações

Para exibir o histórico e o status das atualizações do pipeline, clique no menu suspenso do histórico de atualizações na barra superior.

Selecione a atualização no menu suspenso para exibir o grafo, detalhes e eventos de uma atualização. Para retornar à atualização mais recente, clique em Mostrar a atualização mais recente.

Exibir métricas de streaming

Você pode exibir métricas de streaming das fontes de dados compatíveis com o Streaming Estruturado do Spark, como o Apache Kafka, o Amazon Kinesis, o Carregador Automático e as tabelas Delta, para cada fluxo de streaming em seu pipeline. As métricas são exibidas como gráficos no painel direito da interface do usuário do pipeline e incluem segundos de lista de pendências, bytes de lista de pendências, registros de lista de pendências e arquivos de lista de pendências. Os gráficos exibem o valor máximo agregado por minuto e uma dica de ferramenta mostra os valores máximos quando você passa o mouse sobre o gráfico. Os dados são limitados às últimas 48 horas a partir do horário atual.

As tabelas do seu pipeline com métricas de streaming disponíveis exibem o ícone ao exibir o grafo do pipeline na exibição Graph da interface do usuário. Para exibir as métricas de streaming, clique no para exibir o gráfico de métricas de streaming na guia Fluxos no painel direito. Você também pode aplicar um filtro para exibir apenas tabelas com métricas de streaming clicando em Lista e clicando em Há métricas de streaming.

Cada fonte de streaming dá suporte apenas a métricas específicas. As métricas não compatíveis com uma fonte de streaming não estão disponíveis para exibição na interface do usuário. A tabela a seguir mostra as métricas disponíveis para fontes de streaming com suporte: