Monitoraggio e osservabilità per i jobs Lakeflow

L'interfaccia utente Azure Databricks consente di visualizzare i processi a cui si ha accesso, esplorare una cronologia delle esecuzioni per ogni processo e esaminare i dettagli delle singole esecuzioni di processo. Per configurare le notifiche per i processi, vedere Aggiungere notifiche in un processo.

Per informazioni sull'uso della CLI di Databricks per visualizzare ed eseguire i lavori, eseguire i comandi della CLI databricks jobs list -h, databricks jobs get -h e databricks jobs run-now -h. Per informazioni sull'uso dell'API Processi, vedere l'API Processi.

Se si ha accesso allo schema system.lakeflow, è anche possibile visualizzare ed eseguire query sui record delle esecuzioni dei lavori e dei task nell'account. Consultare Informazioni di riferimento sulla tabella di sistema processi. È anche possibile unire le tabelle di sistema dei processi con le tabelle di fatturazione per monitorare il costo dei processi nell'account. Consulta Monitor i costi dei processi e le prestazioni & con le tabelle di sistema.

Visualizzare processi e pipeline

Per visualizzare l'elenco dei processi a cui si ha accesso, fare clic Processi e pipeline nella barra laterale. La scheda Processi e pipeline nell'interfaccia utente di Processi Lakeflow elenca le informazioni su tutti i processi e le pipeline disponibili, ad esempio l'autore, il trigger (se presente) e il risultato delle ultime cinque esecuzioni.

Per modificare le colonne visualizzate nell'elenco, fare clic e selezionare o deselezionare le colonne.

È possibile filtrare i processi nell'elenco Processi e pipeline , come illustrato nello screenshot seguente.

1. Ricerca di testo: la ricerca di parole chiave è supportata per i campi Nome e ID processo . Per cercare un tag creato con una chiave e un valore, è possibile eseguire ricerche in base alla chiave, al valore o sia alla chiave che al valore. Ad esempio, per un tag con la chiave department e il valore finance, è possibile cercare department o finance trovare i lavori corrispondenti. Per eseguire una ricerca in base alla chiave e al valore, immettere la chiave e il valore separati da due punti ( ad esempio, department:finance).
2. Tipo: selezionare solo processi, pipeline o tutti.
3. Proprietario: selezionare solo i processi o le pipeline di cui si è proprietari.
4. Preferiti: selezionare tutti i processi o le pipeline contrassegnati come preferiti.
5. Tag: usare i tag. Per eseguire ricerche in base al tag, è possibile usare il menu a discesa tag per filtrare fino a cinque tag contemporaneamente o usare direttamente la ricerca di parole chiave.
6. Esegui come: filtra per un massimo di due run as valori.

Per avviare un lavoro o una pipeline, fare clic sul pulsante . Per arrestare un flusso di lavoro, fare clic sul pulsante . Per accedere ad altre azioni, fare clic sull'icona del menu Kebab. Ad esempio, è possibile eliminare il flusso di lavoro o le impostazioni di accesso per una pipeline da questo menu.

Visualizza le esecuzioni per un singolo job

È possibile visualizzare un elenco delle esecuzioni attualmente in esecuzione e completate di recente per un processo a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni dei lavori recenti:

1. Nella barra laterale dell'area di lavoro di Azure Databricks fare clic su Processi e pipeline.

2. Opzionalmente, selezionare i filtri Attività e Di mia proprietà.

3. Fare clic sul Nome del collegamento del proprio lavoro.

   La scheda Esecuzioni è visibile con le visualizzazioni matrice ed elenco delle esecuzioni attive e completate.

La visualizzazione matrice mostra una cronologia delle esecuzioni per il lavoro, inclusa ogni task del lavoro.

Nella riga Durata totale esecuzione della matrice viene visualizzata la durata totale dell'esecuzione e lo stato dell'esecuzione. Per visualizzare i dettagli dell'esecuzione, inclusi l'ora di inizio, la durata e lo stato, passare il puntatore sulla barra nella riga Durata totale esecuzione.

Ogni cella nella riga Tasks rappresenta una task e lo stato corrispondente della task. Per visualizzare i dettagli di ogni task, inclusi l'ora di inizio, la durata, il cluster e lo stato, passare il puntatore del mouse sulla cella per tale task.

Le barre di esecuzione del lavoro e di esecuzione delle task sono codificate a colori per indicare lo stato dell'esecuzione. Le esecuzioni riuscite sono verdi. Le esecuzioni non riuscite sono rosse, le esecuzioni ignorate sono rosa e le esecuzioni in attesa di ritentativo sono gialle. In sospeso, annullati o scaduti sono in grigio. L'altezza delle singole barre di esecuzione di processi e attività indica visivamente la durata dell'esecuzione.

Se è stato configurato un tempo di completamento previsto, la visualizzazione matrice visualizza un avviso quando la durata di un'esecuzione supera il tempo configurato.

Per impostazione predefinita, la visualizzazione elenco esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Identificatore dell'esecuzione. Vedere URL di esecuzione e ID del processo per sapere come trovare e condividere l'URL di esecuzione.
• Se l'esecuzione è stata attivata da una pianificazione dei processi o da una richiesta API, oppure è stata avviata manualmente.
• Tempo trascorso per un lavoro attualmente in esecuzione o il tempo di esecuzione totale per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Stato dell'esecuzione, Accodato, In attesa, Esecuzione, Ignorato, Riuscito, Non riuscito, Timeout, Annullamentoo Annullato.
• Codice di errore con cui è stata terminata l'esecuzione.
• Parametri di esecuzione.

Le esecuzioni attive attualmente visualizzano un pulsante di stop. Per arrestare tutti i processi attivi e in coda, selezionare Annulla processi o Annulla tutti i processi in coda dal menu a discesa.

Per accedere alle azioni contestuali per l'esecuzione, fare clic Ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nella visualizzazione elenco esecuzioni, cliccare su e selezionare o deselezionare le colonne.

Per visualizzare i dettagli per un'esecuzione del job, cliccare sul link dell'esecuzione nella colonna Ora di inizio nella visualizzazione elenco delle esecuzioni. Per visualizzare i dettagli dell'esecuzione più recente del processo, fare clic su Vai all'ultima esecuzione riuscita.

Azure Databricks conserva uno storico delle esecuzioni dei lavori per un massimo di 60 giorni. Se è necessario mantenere le esecuzioni dei lavori, Databricks consiglia di esportare i risultati prima della loro scadenza. Per altre informazioni, vedere Esportazione dei risultati di esecuzione del lavoro.

Visualizzare i dettagli di esecuzione del lavoro

La pagina dei dettagli di esecuzione del lavoro contiene l'output del lavoro e i collegamenti ai log, incluse le informazioni sull'esito positivo o negativo di ogni task nell'esecuzione del lavoro. È possibile accedere ai dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni per il lavoro.

Per visualizzare i dettagli dell'esecuzione del lavoro dalla scheda Esecuzioni, cliccare sul collegamento per l'esecuzione nella colonna Ora di inizio nella visualizzazione dell'elenco esecuzioni. Per tornare alla scheda Esecuzioni per il lavoro, cliccare sul valore ID lavoro.

I lavori con più attività hanno anche un grafico, una sequenza temporale e una visualizzazione elenco.

Vista grafico

Fare clic su un nodo attività nel grafico per visualizzare i dettagli dell'esecuzione dell'attività, tra cui:

• Dettagli dell'attività, tra cui esegui come, modalità di avvio del processo, ora di inizio, ora di fine, durata e stato.
• Codice sorgente.
• Cluster che ha eseguito l'attività e collegamenti alla cronologia delle query e ai log.
• Metriche per l'attività.

Visualizzazione sequenza temporale

I processi che contengono più attività hanno una vista cronologica per identificare le attività che richiedono molto tempo per il completamento, comprendere le dipendenze e le sovrapposizioni per supportare il debug e l'ottimizzazione di questi processi.

Per i processi serverless, le query e i profili di query sono integrati nella visualizzazione sequenza temporale. Fare clic sulla freccia accanto a un nome di attività per visualizzare le istruzioni di query e le relative durate, quindi fare clic su un'istruzione per passare al profilo di query corrispondente. Vedere Visualizzare i dettagli delle query per le esecuzioni dei processi.

Visualizzazione elenco

Per impostazione predefinita, la visualizzazione elenco mostra lo stato, il nome, il tipo, la risorsa, la durata e le dipendenze. È possibile aggiungere e rimuovere colonne in questa visualizzazione.

È possibile cercare un'attività in base al nome, filtrare in base allo stato dell'attività o al tipo di attività e ordinare le attività in base allo stato, al nome o alla durata.

Cliccare sul valore ID del lavoro per tornare alla scheda Esecuzioni.

Come Azure Databricks determina lo stato di esecuzione del processo

Azure Databricks determina se un'esecuzione del processo è stata eseguita correttamente in base al risultato delle attività foglia del processo. Un'attività foglia è un'attività che non ha dipendenze a valle. Un'esecuzione di un processo può avere uno dei risultati seguenti:

• Operazione completata: tutte le task hanno avuto esito positivo.
• Operazione riuscita con errori: alcune attività non sono andate a buon fine, ma tutte le attività foglia hanno avuto esito positivo.
• Operazione non riuscita: una o più attività foglia non sono riuscite.
• Ignorato: l'esecuzione del job è stata saltata. Ad esempio, un'attività potrebbe essere saltata perché è stato superato il numero massimo di esecuzioni simultanee consentite per il job o per lo spazio di lavoro.
• Timeout: il processo ha richiesto troppo tempo e non è stato completato nei tempi previsti.
• Annullata: l'esecuzione del processo è stata annullata( ad esempio, un utente ha annullato manualmente l'esecuzione in corso).

Le singole attività possono anche terminare con uno Disabled stato quando vengono disabilitate esplicitamente nelle impostazioni del job, o quando i Lakeflow Jobs le disabilitano per un'esecuzione perché un'attività a monte è disabilitata. Le attività disabilitate mostrano un Nell'angolo superiore destro del DAG. Vedere Attività disabilitate in Job Lakeflow.

Visualizzare le metriche per le attività di streaming

Quando si visualizzano i dettagli dell'esecuzione del job, è possibile ottenere dati sui carichi di lavoro dello streaming con metriche di osservabilità dello streaming nell'interfaccia utente dei job. Queste metriche includono i secondi di backlog, i byte di backlog, i record di backlog e i file di backlog per le origini supportate da Spark Structured Streaming, tra cui Apache Kafka, Amazon Kinesis, Auto Loader, Google Pub/Sub e tabelle Delta. Le metriche vengono visualizzate come grafici nel riquadro a destra quando si visualizzano i dettagli dell'esecuzione di un'attività. Le metriche visualizzate in ogni grafico sono valori massimi aggregati per minuto e possono includere fino alle 48 ore precedenti.

Ogni origine di streaming supporta solo metriche specifiche. Le metriche non supportate da un'origine di streaming non sono disponibili per la visualizzazione nell'interfaccia utente. La tabella seguente illustra le metriche disponibili per le origini di streaming supportate:

È anche possibile specificare le soglie per ogni metrica di streaming e configurare le notifiche se un flusso supera una soglia durante l'esecuzione di un'attività. Vedere Configurare le notifiche per i processi lenti.

Per visualizzare le metriche di streaming per un'attività di esecuzione che trasmette i dati da una delle origini di Structured Streaming supportate:

1. Nella pagina dettagli di esecuzione del processo, fare clic sull'attività per cui si desidera visualizzare le metriche.
2. Fare clic sulla scheda Metriche nel riquadro Esecuzione attività.
3. Per aprire il grafico per una metrica, fare clic su Right Caret accanto al nome della metrica.
4. Per visualizzare le metriche per un flusso specifico, immettere l'ID del flusso nella casella di testo Filtra per stream_id. È possibile trovare l'ID del flusso nell'output per l'esecuzione del job.
5. Per modificare il periodo temporale dei grafici delle metriche, utilizzare il menu a discesa del tempo.
6. Per scorrere i flussi se l'esecuzione contiene più di dieci flussi, fare clic su Avanti o Precedente.

Limitazioni dell'osservabilità dello streaming

• Le metriche vengono aggiornate ogni minuto, a meno che un processo non abbia più di quattro flussi. Se un'esecuzione ha più di quattro flussi, le metriche vengono aggiornate ogni cinque minuti.
• Le metriche vengono raccolte solo per i primi cinquanta stream in ogni esecuzione.
• Le metriche vengono raccolte a intervalli di un secondo. Le metriche potrebbero non essere visibili se l'impostazione triggerInterval è inferiore a un secondo.
• La maggior parte delle fonti di dati raccoglie le metriche di streaming per impostazione predefinita. Tuttavia, per altri utenti, è necessario abilitare questa funzionalità. Se l'origine dati non raccoglie le metriche di streaming, imposta il spark.sql.streaming.metricsEnabled flag su True.

Visualizzare le metriche delle prestazioni delle query per i processi serverless

Quando si esegue un processo serverless, Databricks visualizza le metriche del profilo di query selezionate e le informazioni dettagliate sulle prestazioni direttamente nell'interfaccia utente di esecuzione del processo, in modo da identificare i problemi di prestazioni senza aprire un profilo di query separato per ogni query. Usare queste metriche per analizzare il motivo per cui un'esecuzione è lenta o confrontare le prestazioni tra due esecuzioni.

Prima di poter visualizzare queste metriche:

• È necessario abilitare per l'area di lavoro l'anteprima Osservabilità delle prestazioni migliorata di Lakeflow. Gli amministratori dell'area di lavoro possono abilitarlo dalla pagina Anteprime.
• L'area di lavoro deve avere accesso a informazioni dettagliate sulle prestazioni delle query. Senza di esso, gli indicatori di lampadina non vengono visualizzati, anche se le metriche aggregate (righe lette, righe scritte e conteggio totale delle query) vengono comunque visualizzate.

Databricks visualizza le metriche seguenti, aggregate dalle query in un'esecuzione di processo serverless:

• Righe lette e righe scritte per ogni esecuzione dell'attività.
• Numero totale di query per ogni esecuzione di attività.
• Un indicatore di analisi delle prestazioni (lampadina) su un'attività quando una o più query in quell'attività presentano analisi delle prestazioni.

Queste metriche vengono visualizzate in punti diversi a seconda di come visualizzi l'esecuzione:

Comportamento del clic e del passaggio del mouse:

• Nella visualizzazione Sequenza temporale, passa il puntatore del mouse su un'attività per visualizzarne le metriche aggregate e gli approfondimenti sulle prestazioni per le query dell'attività.
• Nella visualizzazione DAG o nella visualizzazione Elenco, fare clic sull'icona della lampadina in un'attività per aprire la visualizzazione Sequenza temporale con le query dell'attività espanse.
• Nella vista Sequenza temporale, fare clic sul testo della query di una query contrassegnata da una lampadina per aprire un riquadro con una panoramica delle analisi delle prestazioni relative alla query.

Per esaminare il motivo per cui un processo serverless viene eseguito più lentamente del previsto:

1. Aprire l'esecuzione del processo.
2. Passare alla vista Sequenza temporale.
3. Identificare le attività che richiedono più tempo del previsto in base alla distribuzione della durata.
4. Passare il puntatore del mouse su un'attività a esecuzione prolungata per visualizzare:
   • Righe lette e righe scritte: controllare se l'attività ha elaborato più dati del solito.
   • Numero totale di query: individuare le modifiche nella forma del carico di lavoro.
   • Indicatore delle informazioni dettagliate sulle prestazioni: regressioni spot o modifiche di codice inefficienti.
5. Se la durata aumentata è spiegata da un volume di dati superiore, il rallentamento potrebbe essere previsto. In caso contrario, espandere l'attività nella sequenza temporale per visualizzare le singole query. Le query con informazioni rilevate mostrano una lampadina accanto.
6. Fare clic sul testo query di una query contrassegnata da una lampadina per aprire un riquadro con l'analisi delle prestazioni di tale query.
7. Applicare le modifiche consigliate ed eseguire di nuovo il processo per verificare che il problema sia stato risolto.

Per l'elenco completo delle informazioni dettagliate e dei relativi significato, vedere Informazioni dettagliate sulle prestazioni delle query. Per informazioni più approfondite sull'esecuzione delle query, vedere Profilo di query.

Limitazioni delle metriche delle prestazioni delle query

• Queste metriche e informazioni dettagliate si applicano solo ai processi Lakeflow serverless . Le esecuzioni di processi nell'ambiente di calcolo classico non mostrano queste informazioni.
• Le metriche vengono aggregate sulle prime 100 query nell'esecuzione di un processo. Se un'esecuzione ha più query, solo le prime 100 vengono conteggiate nel totale.

Visualizzare la cronologia di esecuzione della task

Per visualizzare la cronologia di esecuzione di una task, incluse le esecuzioni riuscite e non riuscite:

1. Fare clic su un'attività nella pagina Dettagli esecuzione del processo. Viene visualizzata la pagina dei dettagli dell'esecuzione del task.
2. Nel menu a discesa della cronologia delle esecuzioni, selezionare l'esecuzione del task.

Visualizza la cronologia delle esecuzioni per un'attività For each

L'accesso alla cronologia delle esecuzioni di un'attività For each è uguale a quello di un'attività standard di Lakeflow Jobs. È possibile cliccare sul nodo task For each nella pagina Dettagli esecuzione lavoro o nella cella corrispondente nella visualizzazione matrice. Tuttavia, a differenza di un compito standard, i dettagli di esecuzione per un compito For each vengono presentati come tabella delle iterazioni del compito nidificato.

Per visualizzare solo le iterazioni non riuscite, cliccare su Solo iterazioni non riuscite.

Per visualizzare l'output di un'iterazione, cliccare sui valori Ora di inizio o Ora di fine dell'iterazione.

Visualizza le esecuzioni recenti di tutti i job e le pipeline

È possibile visualizzare un elenco delle esecuzioni attualmente in esecuzione e completate di recente per tutti i processi e le pipeline in un'area di lavoro a cui si ha accesso, incluse le esecuzioni avviate da strumenti di orchestrazione esterni, ad esempio Apache Airflow o Azure Data Factory. Per visualizzare l'elenco delle esecuzioni recenti:

1. Fare clic Processi e pipeline nella barra laterale.
2. Fare clic sulla scheda Esecuzioni per visualizzare il grafico Conteggio esecuzioni completate e l'elenco di esecuzioni di processi e pipeline.
3. (Facoltativo) Fare clic su Jobs o Pipelines per filtrare l'elenco per tipo.

L'elenco delle esecuzioni include opzioni di filtro nella parte superiore, un grafico delle esecuzioni completate di recente e i primi 5 errori e un elenco delle esecuzioni completate di recente.

Puoi filtrare per:

• Nome del processo o della pipeline.
• Tutti, lavori o pipeline.
• Tipo di pipeline (ETL, Inserimento, MV/ST o Sincronizzazione tabelle di database).
• Utente Esegui come.
• Usa l'ID esecuzione per trovare un'esecuzione specifica.
• L'orario di avvio (nell'ambito delle ultime 48 ore).
• Lo stato di esecuzione.
• Codice di errore per le esecuzioni non riuscite.

I filtri si applicano al grafico, ai codici di errore e all'elenco di esecuzioni.

Grafico del conteggio delle esecuzioni completate

Il grafico Numero di esecuzioni completate mostra il numero di esecuzioni completate nelle ultime 48 ore. Per impostazione predefinita, il grafico mostra le esecuzioni non riuscite, saltate e riuscite. È anche possibile filtrare il grafico per visualizzare stati di esecuzione specifici o limitare il grafico a un intervallo di tempo specifico.

I filtri nella parte superiore della scheda Esecuzioni si applicano al grafico.

Per limitare l'intervallo di tempo visualizzato nel grafico Conteggio esecuzioni completate, definisci un intervallo di tempo nel filtro. In alternativa, è possibile fare clic e trascinare il cursore nel grafico per selezionare l'intervallo di tempo. Il grafico e la tabella delle esecuzioni si aggiornano per mostrare solo le esecuzioni nell'intervallo di tempo definito.

La tabella Primi 5 tipi di errore mostra un elenco dei tipi di errore più frequenti dell'intervallo di tempo selezionato, consentendo di visualizzare rapidamente le cause più comuni dei problemi nell'area di lavoro.

Elenco delle esecuzioni

La scheda Esecuzioni include anche una tabella delle esecuzioni di job e di pipeline degli ultimi 60 giorni. Azure Databricks mantiene la cronologia di esecuzione per 60 giorni sia per i processi che per le pipeline. Per impostazione predefinita, la tabella include dettagli sulle esecuzioni non riuscite, saltate e riuscite.

I filtri in cima alla scheda Esecuzioni si applicano all'elenco.

Per impostazione predefinita, l'elenco delle esecuzioni nella tabella delle esecuzioni visualizza quanto segue:

• Ora di inizio per l'esecuzione.
• Nome del processo o della pipeline associato all'esecuzione.
• Tipo (Job o Pipeline) dell'esecuzione.
• Nome utente in cui viene eseguita l'esecuzione.
• Come l'esecuzione è stata attivata (avviata), da una pianificazione o da una richiesta API o è stata avviata manualmente.
• Tempo trascorso per un processo o una pipeline attualmente in esecuzione o per il tempo totale di esecuzione per un'esecuzione completata. Se la durata supera un tempo di completamento previsto configurato, viene visualizzato un avviso.
• Stato dell'esecuzione: Accodato, Pendente, In esecuzione, Ignorato, Riuscito, Non riuscito, Tempo scaduto, Annullamentoo Annullato.
• Qualsiasi codice di errore con cui è stata terminata l'esecuzione.
• Qualsiasi parametro per l'esecuzione.
• Per arrestare un processo o una pipeline in esecuzione, fare clic sul pulsante Arresta. Per accedere alle azioni per l'esecuzione, fare clic Ad esempio, per arrestare un'esecuzione attiva o eliminare un'esecuzione completata.

Per modificare le colonne visualizzate nell'elenco delle esecuzioni, fare clic e selezionare o deselezionare le colonne.

Per visualizzare i dettagli dell'esecuzione del lavoro, cliccare sul collegamento nella colonna Ora di inizio per l'esecuzione. Per visualizzare i dettagli del job o della pipeline, fare clic sul nome nella colonna Job.

Visualizzare le informazioni sulla derivazione per un lavoro

Se Unity Catalog è abilitato nell'area di lavoro, è possibile visualizzare le informazioni sulla derivazione per qualsiasi tabella di Unity Catalog nel flusso di lavoro. Se sono disponibili informazioni sulla derivazione dei dati per il flusso di lavoro, viene visualizzato un collegamento con il numero di tabelle upstream e downstream nel riquadro Dettagli processo del processo, nel riquadro Dettagli esecuzione processo per un'esecuzione del processo oppure nel riquadro Dettagli esecuzione attività per un'esecuzione dell'attività. Cliccare sul collegamento per visualizzare l'elenco delle tabelle. Cliccare su una tabella per visualizzare informazioni dettagliate in Explorer catalogo.

Visualizzare ed eseguire un processo creato con bundle di automazione dichiarativa

È possibile usare l'interfaccia utente dei processi Lakeflow per visualizzare ed eseguire i processi distribuiti dai bundle di automazione dichiarativa. Per impostazione predefinita, questi processi sono di sola lettura nell'interfaccia utente dei processi. Per modificare un processo distribuito da un bundle, modificare il file di configurazione del bundle e ridistribuire il processo. L'applicazione delle modifiche solo alla configurazione del bundle garantisce che i file di origine del bundle acquisiscano sempre la configurazione del processo corrente.

Tuttavia, se è necessario apportare modifiche immediate a un processo, è possibile disconnettere il processo dalla configurazione del bundle per abilitare la modifica delle impostazioni del processo nell'interfaccia utente. Per disconnettere il lavoro, fare clic su Disconnetti dalla sorgente. Nella finestra di dialogo Disconnetti dall'origine fare clic su Disconnetti per confermare.

Le modifiche apportate all'attività nell'interfaccia utente non vengono applicate alla configurazione del bundle. Per applicare le modifiche apportate nell'interfaccia utente al bundle, è necessario aggiornare manualmente la configurazione del bundle. Per riconnettere il processo alla configurazione del bundle, ridistribuire il processo usando il bundle.

Esportare i risultati di esecuzione del lavoro

È possibile esportare i risultati di esecuzione del notebook e i log di esecuzione dei lavori per tutti i tipi di lavoro.

Esportare i risultati di esecuzione del notebook

È possibile rendere persistenti le esecuzioni dei lavori esportandone i risultati. Per le esecuzioni dei lavori notebook, è possibile esportare un notebook reso che può essere successivamente importato nell'area di lavoro di Azure Databricks.

Per esportare i risultati di esecuzione del notebook per un lavoro con una singola attività:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Cliccare su Esporta in HTML.

Per esportare i risultati di esecuzione del notebook per un lavoro con più task:

1. Nella pagina dei dettagli del lavoro cliccare sul collegamento Visualizza dettagli per l'esecuzione nella colonna Esegui della tabella Esecuzioni completate (ultimi 60 giorni).
2. Fare clic sulla task del notebook da esportare.
3. Cliccare su Esporta in HTML.

Esportare i log di esecuzione del lavoro

È anche possibile esportare i log relativi all'esecuzione del lavoro. È possibile configurare le attività per recapitare automaticamente i log a DBFS mentre si configura il calcolo delle attività (vedere riferimento alla configurazione di calcolo) o tramite l'API delle attività. Vedere l'oggetto new_cluster.cluster_log_conf nel corpo della richiesta passato all'operazione Crea un nuovo job (POST /jobs/create) nell'API Jobs.