Parametrizzare i job

I parametri consentono di passare valori a un processo e alle relative attività e di fare riferimento ai valori tra le attività. Questo articolo presenta i tipi di parametri disponibili in Processi Lakeflow e come configurarli nell'interfaccia utente. È anche necessario aggiornare gli asset del codice sorgente configurati come attività per fare riferimento ai parametri. I riferimenti ai parametri variano in base al linguaggio e al tipo di attività. Vedere Accedere ai valori dei parametri da un'attività.

Per una corretta comprensione dei parametri relativi alle attività, i seguenti sono concetti fondamentali.

Operazioni che è possibile eseguire con i parametri

Aggiungere parametri a processi e attività per casi d'uso avanzati, inclusi i seguenti:

  • Aggiungi logica estendibile alle risorse di codice.
  • Definire condizioni per le esecuzioni.
  • Fare riferimento a parametri comuni tra più task.
  • Usare le informazioni generate in un compito in un altro compito.
  • Fare riferimento a metadati e informazioni sullo stato nell'esecuzione del processo.

Parametri del processo rispetto ai parametri dell'attività

I parametri del lavoro sono coppie chiave-valore definite a livello di lavoro. È possibile ignorare le impostazioni predefinite per i parametri del processo quando si seleziona Esegui ora con parametri diversi o si attiva un'esecuzione di processo usando l'API REST. I parametri dell'attività vengono assegnati ai task che utilizzano parametri chiave-valore. Altri task possono fare riferimento a parametri di task usando riferimenti a valori dinamici.

Nota

Qualsiasi utente con CAN MANAGE RUN autorizzazione o superiore per un processo può eseguire l'override dei valori dei parametri del processo per un'esecuzione manuale usando Esegui ora con parametri diversi. Un valore di parametro predefinito non è un controllo di sicurezza. Per evitare modifiche, limita le autorizzazioni del processo.

I parametri delle attività sono coppie chiave-valore o matrici JSON definite a livello di attività. Ogni tipo di attività passa i valori delle attività alle risorse di codice configurate in modo diverso. Ad esempio, i task del notebook usano il modulo secondario dbutils.widgets, mentre gli script Python passano i valori come argomenti allo script come se venisse richiamato dalla riga di comando. I task downstream possono fare riferimento ai parametri dei task upstream utilizzando riferimenti a valori dinamici. Vedere Accedere ai valori dei parametri da un'attività.

Nota

Alcuni task non presentano un campo Parametri dedicato, ma consentono l'uso di riferimenti ai valori di task o di riferimenti a valori dinamici all'interno di altri campi. Vedere Esempi di comandi dbt con parametri e Aggiungere logica di ramificazione a un processo con l'attività If/else.

Creare flussi di lavoro usando valori dinamici

I parametri dei task impostati con valori statici possono essere ignorati solo aggiornando la definizione del task. L'impostazione di un valore statico per un parametro del processo consiste solo nella configurazione di un valore predefinito, che è possibile ignorare quando si seleziona Esegui ora con parametri diversi o si attiva un'esecuzione di processo usando l'API REST.

Usare riferimenti a valori dinamici quando si definiscono i parametri di task per implementare criteri come i seguenti:

  • Usare un parametro di processo come output_table per un'attività e input_table per un'altra attività.
  • Acquisire l'output di una query del notebook come elenco e iterarlo in un'attività For each.
  • Creare una logica di diramazione in base al numero di record elaborati utilizzando un'attività di condizione If/else.
  • Fare riferimento ai parametri di altri compiti.

Vedere Riferimenti a valori dinamici.

  • Last updated on