Tutoriais do Lakeflow Spark Declarative Pipelines

Esses tutoriais oferecem experiência prática na criação de pipelines usando o Lakeflow Spark Declarative Pipelines (SDP), desde o seu primeiro pipeline até ETL com CDC, ingestão geoespacial e pacotes controlados por código-fonte.

Introdução aos Pipelines Declarativos do Lakeflow Spark

Tópico Description
Tutorial: Criar um pipeline ETL com Pipelines Declarativos do Lakeflow Spark Este tutorial mostra como criar e implantar um pipeline ETL (extração, transformação e carregamento) simples para orquestração de dados e o Auto Loader.

Tutorials

Tópico Description
Tutorial: Criar seu primeiro pipeline usando o Editor do Lakeflow Pipelines Este tutorial explica como criar seu primeiro pipeline estendendo o código de exemplo criado com um novo pipeline.
Tutorial: Criar um pipeline de ETL usando a captura de dados de alteração Este tutorial mostra as etapas para criar e implantar um pipeline de ETL com CDC (captura de dados de alterações) usando o SDP para orquestração de dados e o Auto Loader.
ETL no Databricks SQL Este tutorial orienta você na criação de um pipeline ETL incremental no Databricks SQL usando tabelas de streaming, AUTO CDC, e visualizações materializadas.
Tutorial: crie um pipeline geoespacial com tipos espaciais nativos Este tutorial orienta você na criação de um pipeline geoespacial que ingere dados de GPS, converte coordenadas para tipos espaciais nativos e realiza o cruzamento com cercas geográficas do warehouse usando SDP e Auto Loader.
Criar um pipeline controlado pela origem Este tutorial mostra como criar um pipeline controlado pela origem usando pacotes de automação declarativa e pastas Git.
Converter um pipeline em um projeto de agrupamento Este tutorial mostra como converter um pipeline existente em um projeto de Pacotes de Automação Declarativa, para fornecer uma manutenção mais fácil e implantação automatizada para ambientes de destino.
  • Last updated on