Accedere alle viste materializzate e alle tabelle di streaming usando sistemi esterni

Per impostazione predefinita, le viste materializzate e le tabelle di streaming non sono disponibili per l'accesso da sistemi esterni. Azure Databricks offre due funzionalità che consentono di rendere i set di dati disponibili per i client Delta Lake o Iceberg:

  • Accesso ai dati esterni (anteprima pubblica): l'abilitazione dell'accesso ai dati esterni per i set di dati della pipeline crea una copia dei metadati per il set di dati che consente ai client di usare le API REST di Unity Catalog o Iceberg, senza richiedere una copia completa dei dati o una pianificazione di aggiornamento separata. I client devono usare le API REST del catalogo e devono supportare Delta 4.0.0 o versione successiva o la specifica Iceberg v3.

    Per informazioni dettagliate sull'accesso ai dati esterni per i set di dati della pipeline, vedere Abilitare l'accesso ai dati esterni alle tabelle di streaming e alle viste materializzate.

  • Modalità di compatibilità (anteprima pubblica): l'abilitazione della modalità di compatibilità per un set di dati genera una versione di sola lettura dei dati in una posizione scelta, che deve essere aggiornata quando le tabelle vengono aggiornate. La versione di compatibilità include i metadati v1 per i formati Delta Lake e Iceberg insieme alla copia di sola lettura dei dati, consentendo l'accesso a un'ampia gamma di client (inclusi i client che devono leggere direttamente i dati della tabella, anziché tramite un'API) a scapito del ritardo negli aggiornamenti dei dati e dei costi di copia dei dati.

    Per informazioni dettagliate sulla modalità di compatibilità, vedere Modalità compatibilità.

Se i client esterni supportano le API REST, Azure Databricks consiglia di usare l'accesso ai dati esterni per concedere a tali client l'accesso a viste materializzate o tabelle di streaming. Per un'ampia gamma di client, in particolare i client meno recenti e altre tabelle gestite di Unity Catalog, usare la modalità di compatibilità.

Capability Accesso ai dati esterni Modalità di compatibilità
Copia dei dati Nessuna copia dei dati necessaria. Copia dei dati necessaria.
Coerenza Coerenza di lettura/dopo scrittura. I client esterni visualizzano le modifiche non appena si verificano nel set di dati. Gli aggiornamenti vengono eseguiti in base a una pianificazione. Per impostazione predefinita, la tabella di compatibilità viene aggiornata ogni ora. Questa opzione può essere impostata per l'aggiornamento immediatamente dopo una modifica alla tabella di origine, ma è ancora ritardata dal tempo di copia dei dati.
Access Richiede l'accesso all'API REST "moderna". Supporta le API di catalogo Delta 4.0.0 o versioni successive oppure le API della specifica Iceberg v3 (richiede il supporto per i vettori di eliminazione). Compatibile con tutti i client Delta Lake o Iceberg.
Oggetto a tabella singola Le viste materializzate e le tabelle di streaming vengono visualizzate come tabelle gestite con lo stesso nome del set di dati originale ai client esterni. Le tabelle di compatibilità vengono visualizzate come una nuova tabella in una nuova posizione per i client esterni.
Supporto dei tipi di tabella Supporta viste materializzate e tabelle di streaming gestite dalle pipeline dichiarative di Lakeflow Spark. Supporta viste materializzate e tabelle di streaming, sia gestite da Pipeline dichiarative Spark di Lakeflow che da tabelle autonome e da qualsiasi altra tabella gestita di Unity Catalog.
Cost Il costo di gestione dei metadati esterni fa parte del costo di aggiornamento per la vista materializzata o la tabella di streaming. Si tratta in genere di meno di 1% del costo e del tempo per l'aggiornamento. La maggior parte dei costi per la modalità di compatibilità è il costo del trasferimento dei dati legacy alla nuova posizione.

Risorse aggiuntive

  • Last updated on