Monitorar pipelines

Monitore os Pipelines Declarativos do Lakeflow Spark usando a interface do usuário integrada do pipeline, o log de eventos, o histórico de consultas e os ganchos de eventos personalizados. Esses recursos acompanham o progresso da atualização, a qualidade dos dados, a linhagem e as métricas de streaming.

Tópico Description
Monitorar usando a interface do usuário Observe o progresso e o status das atualizações de pipeline e alerte em caso de sucesso ou falha. Exibir métricas para fontes de streaming, como Apache Kafka e Carregador Automático.
Log de eventos Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline.
Além disso, consulte o esquema do log de eventos.
Histórico de consultas Inspecione e diagnostice o desempenho da consulta examinando o histórico de consultas.
Monitoramento personalizado Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de evento.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico Description
Recuperar um pipeline após falha de ponto de verificação de streaming Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigir tempos de inicialização altos em pipelines Corrija tempos de inicialização altos para um pipeline dividindo e balanceando a carga de fluxos entre pipelines.
  • Last updated on