Monitorar fluxos de trabalho

Monitorize os Pipelines Declarativos do Lakeflow Spark usando a interface integrada do pipeline, o registo de eventos, o histórico de consultas e ganchos de eventos personalizados. Estas funcionalidades acompanham o progresso das atualizações, qualidade dos dados, linhagem e métricas de streaming.

Tópico Description
Monitorar usando a interface do usuário Observe o progresso e o status das atualizações de pipeline e notifique sobre sucesso ou falha. Veja métricas para fontes de streaming, como Apache Kafka e Auto Loader.
Registo de eventos Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline.
Além disso, consulte o esquema para o log de eventos.
Histórico de consultas Inspecione e diagnostique o desempenho da consulta examinando o histórico de consultas.
Monitorização personalizada Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico Description
Recuperar um pipeline de uma falha no ponto de verificação de streaming Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigir tempos de inicialização elevados em pipelines Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga de fluxos entre pipelines.
  • Last updated on