Tutoriais do Lakeflow Spark Declarative Pipelines

Estes tutoriais dão-lhe experiência prática na construção de pipelines com Lakeflow Spark Declarative Pipelines (SDP), desde o seu primeiro pipeline até ETL com CDC, ingestão geoespacial e bundles controlados por código-fonte.

Introdução aos oleodutos declarativos Lakeflow Spark

Tópico Description
Tutorial: Construir um pipeline ETL com Lakeflow Spark Declarative Pipelines Este tutorial mostra-lhe como criar e implementar um pipeline simples de ETL (extração, transformação e carga) para orquestração de dados e Auto Loader.

Tutoriais

Tópico Description
Tutorial: Crie o seu primeiro pipeline usando o Lakeflow Pipelines Editor Este tutorial guia-o na criação do seu primeiro pipeline, estendendo o código de exemplo que é criado com um novo pipeline.
Tutorial: Criar um pipeline de ETL usando a captura de dados de alteração Este tutorial guia-o pelos passos para criar e implementar um pipeline ETL com captura de dados de alteração (CDC) usando SDP para orquestração de dados e Auto Loader.
ETL em Databricks SQL Este tutorial guia-o na construção de um pipeline ETL incremental no Databricks SQL usando tabelas de streaming, AUTO CDC, e vistas materializadas.
Tutorial: Constrói um pipeline geoespacial com tipos espaciais nativos Este tutorial orienta-o na criação de um pipeline geoespacial que ingere dados de GPS, converte coordenadas em tipos espaciais nativos e as une a cercas geográficas de armazéns usando SDP e Auto Loader.
Criar um pipeline controlado pelo código-fonte Este tutorial mostra-lhe como criar um pipeline controlado por código-fonte usando Declarative Automation Bundles e pastas Git.
Converter um pipeline num projeto de bundle Este tutorial mostra-lhe como converter um pipeline existente num projeto Declarative Automation Bundles, para facilitar a manutenção e a implementação automatizada nos ambientes-alvo.
  • Last updated on