Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Questa funzionalità è in Anteprima Pubblica.
È possibile sviluppare ed eseguire il debug di pipeline ETL da un notebook di Azure Databricks connesso a una pipeline usando l'esperienza legacy di modifica dei notebook in Lakeflow Spark Declarative Pipelines.
Importante
Questa pagina descrive l'esperienza di modifica del notebook legacy. Questa funzionalità non può più essere abilitata ed è accessibile solo nelle aree di lavoro che in precedenza avevano rinunciato all'editor di Lakeflow Pipelines. L'esperienza di modifica del notebook è deprecata e verrà rimossa.
L'esperienza predefinita è Lakeflow Pipelines Editor. Utilizza Lakeflow Pipelines Editor per modificare i notebook o i file di codice Python o SQL di una pipeline. Per altre informazioni, vedere Sviluppare ed eseguire il debug di pipeline ETL con il Lakeflow Pipelines Editor.
Panoramica dei notebook nelle pipeline dichiarative di Lakeflow Spark
Quando si lavora su un notebook SQL o Python configurato come codice sorgente per una pipeline esistente, è possibile connettere il notebook direttamente alla pipeline. Quando il notebook è connesso alla pipeline, sono disponibili le funzionalità seguenti:
- Avviare e convalidare la pipeline dal notebook.
- Visualizza il grafico del flusso di dati e il registro eventi della pipeline per l'ultimo aggiornamento nel notebook.
- Visualizzare la diagnostica della pipeline nell'editor del notebook.
- Visualizza lo stato del cluster della pipeline nel notebook.
- Accedere all'interfaccia utente di Lakeflow Spark Declarative Pipelines dal notebook.
Prerequisiti
- È necessario avere una pipeline esistente con un Python o un notebook SQL configurato come codice sorgente.
- È necessario essere il proprietario della pipeline o avere il privilegio
CAN_MANAGE.
Limitazioni
- Le funzionalità descritte in questo articolo sono disponibili solo nei notebook di Azure Databricks. I file dell'area di lavoro non sono supportati.
- Il terminale Web non è disponibile quando è collegato a una pipeline. Di conseguenza, non viene visualizzata come scheda nel pannello inferiore.
Connettere un notebook a una pipeline
All'interno del notebook fare clic sul menu a discesa usato per selezionare calcolo. Il menu a discesa mostra tutte le pipeline dichiarative di Lakeflow Spark in cui questo notebook funge da codice sorgente. Per connettere il notebook a una pipeline, selezionarlo dall'elenco.
Visualizza lo stato del cluster della pipeline
Per comprendere facilmente lo stato del cluster della pipeline, il relativo stato viene visualizzato nel menu a discesa di calcolo con un colore verde per indicare che il cluster è in esecuzione.
Validare il codice della pipeline
È possibile convalidare la pipeline per verificare la presenza di errori di sintassi nel codice sorgente senza elaborare dati.
Per convalidare una pipeline, eseguire una delle operazioni seguenti:
- Nell'angolo superiore destro del notebook fare clic su Convalida.
- Premere
Shift+Enterin qualsiasi cella del notebook. - Nel menu a discesa di una cella fare clic su Convalida pipeline.
Annotazioni
Se si tenta di convalidare la pipeline mentre è già in esecuzione un aggiornamento esistente, viene visualizzata una finestra di dialogo che chiede se si vuole terminare l'aggiornamento esistente. Se si fa clic su Sì, l'aggiornamento esistente viene arrestato e viene avviato automaticamente un aggiornamento convalidato .
Avviare un aggiornamento della pipeline
Per avviare un aggiornamento della pipeline, fare clic sul pulsante Start nell'angolo in alto a destra del notebook. Vedere Eseguire un aggiornamento della pipeline.
Visualizzare lo stato di un aggiornamento
Il pannello superiore del notebook visualizza se un aggiornamento della pipeline è:
- Starting
- Validazione
- Interruzione
Visualizza errori e diagnostiche
Dopo aver avviato un aggiornamento o una convalida della pipeline, gli eventuali errori vengono visualizzati inline con una sottolineatura rossa. Passare il puntatore del mouse su un errore per visualizzare altre informazioni.
Visualizzare gli eventi della pipeline
Quando è collegata a una pipeline, nella parte inferiore del notebook è presente una scheda del registro eventi di Lakeflow Spark Declarative Pipelines.
Visualizzare il grafico del flusso di dati della pipeline
Per visualizzare il grafico del flusso di dati di una pipeline, usare la scheda del grafico Lakeflow Spark Declarative Pipelines nella parte inferiore del notebook. Se si seleziona un nodo nel grafico, lo schema viene visualizzato nel pannello destro.
Come accedere all'interfaccia utente delle pipeline dichiarative di Lakeflow Spark dal notebook
Per passare facilmente all'interfaccia utente delle pipeline dichiarative di Lakeflow Spark, usare il menu nell'angolo in alto a destra del notebook.
Accedere ai log dei driver e all'interfaccia utente di Spark dal notebook
È possibile accedere facilmente ai log dei driver e all'interfaccia utente spark associata alla pipeline in fase di sviluppo dal menu Visualizza del notebook.
