Zugreifen auf materialisierte Ansichten und Streamingtabellen mithilfe externer Systeme

Standardmäßig sind materialisierte Ansichten und Streamingtabellen nicht für den Zugriff von externen Systemen verfügbar. Azure Databricks bietet zwei Features, mit denen Sie Ihre Datasets für Delta Lake- oder Iceberg-Clients verfügbar machen können:

  • Externer Datenzugriff (Public Preview) – Durch aktivieren des externen Datenzugriffs für Pipeline-Datasets wird eine Kopie der Metadaten für das Dataset erstellt, mit der Clients die Unity-Katalog- oder Iceberg-REST-APIs verwenden können, ohne dass eine vollständige Datenkopie oder ein separater Aktualisierungszeitplan erforderlich ist. Die Clients müssen die Katalog-REST-APIs verwenden und entweder Delta 4.0.0 oder höher oder die Iceberg v3-Spezifikation unterstützen.

    Ausführliche Informationen zum Zugriff auf externe Daten für Pipeline-Datasets finden Sie unter Aktivieren des Externen Datenzugriffs auf Streamingtabellen und materialisierte Ansichten.

  • Kompatibilitätsmodus (Öffentliche Vorschau) – Durch aktivieren des Kompatibilitätsmodus für ein Dataset wird eine schreibgeschützte Version Ihrer Daten an einem ausgewählten Speicherort generiert, der aktualisiert werden muss, wenn die Tabellen aktualisiert werden. Die Kompatibilitätsversion enthält v1-Metadaten für die Formate Delta Lake und Iceberg sowie eine schreibgeschützte Kopie der Daten und ermöglicht so den Zugriff für ein breiteres Spektrum an Clients (einschließlich Clients, die die Tabellendaten direkt und nicht über eine API lesen müssen), allerdings auf Kosten verzögerter Datenaktualisierungen und der Kosten für die Datenkopie.

    Ausführliche Informationen zum Kompatibilitätsmodus finden Sie im Kompatibilitätsmodus.

Wenn Ihre externen Clients die REST-APIs unterstützen, empfiehlt Azure Databricks die Verwendung des externen Datenzugriffs, um diesen Clients Zugriff auf materialisierte Ansichten oder Streamingtabellen zu gewähren. Verwenden Sie für eine breitere Palette von Clients, insbesondere ältere Clients und andere verwaltete Tabellen im Unity-Katalog, den Kompatibilitätsmodus.

Fähigkeit Zugriff auf externe Daten Kompatibilitätsmodus
Datenkopie Es ist keine Datenkopie erforderlich. Datenkopie erforderlich.
Konsistenz Lese-nach-Schreib-Konsistenz. Externe Clients sehen Änderungen, sobald sie im Dataset auftreten. Aktualisierungen erfolgen in einem Zeitplan. Standardmäßig wird die Kompatibilitätstabelle stündlich aktualisiert. Dies kann sofort nach einer Änderung an der Quelltabelle aktualisiert werden, wird jedoch weiterhin durch die Datenkopiezeit verzögert.
Access Erfordert den "modernen" REST-API-Zugriff. Unterstützt Delta 4.0.0 oder höher Katalog-APIs oder Iceberg v3-Spezifikations-APIs (erfordert Unterstützung von Löschvektoren). Kompatibel mit allen Delta Lake- oder Iceberg-Clients.
Einzelnes Tabellenobjekt Materialisierte Ansichten und Streamingtabellen werden als verwaltete Tabellen mit demselben Namen wie das ursprüngliche Dataset für die externen Clients angezeigt. Kompatibilitätstabellen werden als neue Tabelle an einem neuen Speicherort für die externen Clients angezeigt.
Unterstützung für Tabellentypen Unterstützt materialisierte Ansichten und Streamingtabellen, die von Lakeflow Spark Declarative Pipelines verwaltet werden. Unterstützt materialisierte Ansichten und Streamingtabellen, unabhängig davon, ob sie von Lakeflow Spark Declarative Pipelines oder eigenständig verwaltet werden, und alle anderen verwalteten Tabellen im Unity-Katalog.
Cost Die Kosten für die Aufrechterhaltung der externen Metadaten sind Teil der Aktualisierungskosten für die materialisierte Ansicht oder Streamingtabelle. Dies liegt in der Regel unter 1% der Kosten und Zeit für die Aktualisierung. Die meisten Kosten für den Kompatibilitätsmodus sind die Kosten für die Übertragung der Legacydaten an den neuen Speicherort.

Weitere Ressourcen

  • Last updated on