Pipeline di compilazione

Creare le pipeline in Lakeflow Spark Declarative Pipelines caricando e trasformando i dati, applicando controlli di qualità dei dati e scrivendo i risultati nelle tabelle di destinazione. Gli argomenti seguenti trattano le attività necessarie per la creazione e l'esecuzione di pipeline.

Per informazioni sui concetti dichiarativi relativi alle pipeline (set di dati, flussi e grafico della pipeline), vedere Informazioni sulle pipeline dichiarative di Lakeflow Spark. Per una procedura dettagliata, vedere Esercitazione: Creare una pipeline ETL usando Change Data Capture.

Topic Description
Sviluppo nell'editor delle pipeline di Lakeflow Creare, eseguire ed eseguire il debug delle pipeline nell'editor, con un grafico della pipeline, anteprime dei dati ed esecuzione selettiva.
Usare il codice Genie per lo sviluppo di pipeline Genera, modifica ed esegui il debug del codice di pipeline da un unico prompt con la modalità Genie Code Agent nell'editor.
Gestire identità e privilegi Controllare l'identità che esegue una pipeline e chi può creare, eseguire, aggiornare e visualizzare le pipeline e il relativo output.
Caricare i dati Acquisisci i dati nella tua pipeline dall'archiviazione di oggetti nel cloud e dai bus di messaggistica in streaming.
Trasformare i dati Applicare trasformazioni, operazioni di join e aggregazioni per creare dataset derivati.
Aggiornamento completo per le tabelle di streaming Rielaborare tutti i dati di origine per ricompilare una tabella di streaming.
Qualità dei dati Convalida i record in base alle aspettative e controlla cosa accade quando un record non supera la convalida.
Scrivere set di dati Scrivere i risultati della pipeline in sink, ad esempio Apache Kafka e Hub eventi di Azure, e usare i flussi per scrivere nelle destinazioni di streaming.

Risorse aggiuntive

  • Last updated on