Konzepte der Analyse-Verbrauchszone

Analytics Consumption Zone (ACZ) exportiert ausgewählte Entitätsdaten aus Azure Data Manager for Energy in Ihr Azure Data Lake Storage Gen2 Konto. ACZ schreibt Azure Data Manager for Energy-Daten im offenen Delta Parquet-Format. Dienste wie Microsoft Fabric und Azure Databricks können dieses Format direkt lesen.

Während der Vorschau ist ACZ nur für Entwicklerebeneninstanzen verfügbar und erfordert die Verwendung von Zulassungslisten. Befolgen Sie die Anleitungen in der Zone "Analysenutzung aktivieren", und wenden Sie sich an Ihren Microsoft Vertreter.

Was ist ACZ?

ACZ ist eine verwaltete Synchronisierungsschicht. Es exportiert Entitätsdaten aus Ihrem Azure Data Manager für Energie in ein Azure Data Lake Storage Gen2 Speicherkonto, das Sie besitzen. Anschließend können Sie diese Daten mit Analyse-, Berichterstellungs- und Machine Learning-Tools verbinden.

Hauptmerkmale von ACZ:

• Kundeneigener Speicher: Sie erstellen und verwalten ein Data Lake Storage Gen2 Speicherkonto, in dem Ihre Daten abgelegt werden. Wenn Sie Anforderungen an die Datenresidenz haben, sind Sie für die Auswahl eines Zielspeicherkontos in derselben geografischen Region zuständig.
• Offenes Format: Ihre Datenexporte im Delta-Parkettformat. Analyse-Engines unterstützen dieses Format weithin.
• Selective sync: Sie wählen aus, welche Entitätstypen synchronisiert werden sollen. Zu den Optionen gehören Katalogtypen und Wellbore Domain Datenverwaltung Service (DDMS)-Typen.
• Historische und inkrementelle Synchronisierung: Sie erhalten eine erste Momentaufnahme vorhandener Daten aus ACZ. Dann synchronisiert ACZ Änderungen, sobald sie auftreten.
• API-gesteuert: Sie konfigurieren und verwalten ACZ vollständig über REST-APIs.

Aufbau

Das folgende Diagramm zeigt den ACZ-Datenfluss.

Funktionsweise von ACZ

Unterstützte Entitätstypen

ACZ synchronisiert zwei Kategorien von Azure Data Manager für Energie-Entitätstypen.

Wenn Sie eine ACZ-Instanz erstellen, geben Sie an, welche Entitätstypen synchronisiert werden sollen, indem Sie Folgendes angeben:

• catalogKinds: Eine Liste von Mustern für Katalogarten (z. B. osdu:wks:master-data--Well:*).
• wellboreDDMSKinds: Eine Liste der Wellbore DDMS-Artmuster (z. B osdu:wks:work-product-component--WellLog:*. ).

Muster dieser Art dienen als Filter, die bestimmen, welche Datensätze von Azure Data Manager for Energy ACZ exportiert und synchron hält.

Verwenden des allCatalogSync-Flags

Das allCatalogSync Flag ist ein optionaler boolescher Parameter, den Sie beim Erstellen einer ACZ-Instanz angeben können. Bei Festlegung auf true, synchronisiert es alle Katalogtypen aus der Datenpartition.

Wichtige Verhaltensweisen:

• allCatalogSync wird außerhalb des configuration Abschnitts im Anforderungstext angegeben.
• Wenn allCatalogSync: true, exportiert ACZ automatisch alle Katalogtypen.
• Die Arrays catalogKinds und wellboreDDMSKinds in der Konfiguration werden bei Katalogdaten ignoriert.
• Wellbore DDMS-Massendateidownloads sind von diesem Flag nicht betroffen . Dateien werden nur für Dateitypen heruntergeladen, die in wellboreDDMSKinds explizit aufgeführt sind.

Beispielkonfigurationen:

// Selective catalog sync - only Wells and Fields
{
  "allCatalogSync": false,
  "configuration": {
    "catalogKinds": [
      "osdu:wks:master-data--Well:*",
      "osdu:wks:master-data--Field:*"
    ]
  }
}

// Sync all catalog kinds using allCatalogSync flag
{
  "allCatalogSync": true,
  "configuration": {
    // catalogKinds is ignored when allCatalogSync is true
  }
}

// Sync all catalog kinds, but Wellbore DDMS files only for specified kinds
{
  "allCatalogSync": true,
  "configuration": {
    "wellboreDDMSKinds": [
      "osdu:wks:work-product-component--WellLog:*"
    ]
  }
}

Versionstypen

Wenn Sie eine ACZ-Instanz erstellen, wählen Sie aus, wie Entitätsversionen behandelt werden sollen.

Lebenszyklusstatus

Jede ACZ durchläuft die folgenden Zustände:

Historische Momentaufnahme

Wenn Sie eine neue ACZ-Instanz erstellen, übernimmt der Dienst eine historische Momentaufnahme. Diese Momentaufnahme exportiert alle vorhandenen Datensätze, die den konfigurierten Entitätstypen (catalogKinds und wellboreDDMSKinds) entsprechen. Die Momentaufnahme durchläuft die folgenden Zustände:

Nachdem die Momentaufnahme abgeschlossen ist, wechselt ACZ in den inkrementellen Modus. Es erfasst neue und aktualisierte Datensätze in nahezu Echtzeit.

So verarbeitet ACZ Datenänderungen

ACZ verteilt erstellte, aktualisierte und gelöschte Datensätze aus Azure Data Manager for Energy in die Delta-Tabellen.

• Creations and updates: Wenn Sie einen Datensatz erstellen oder dessen Datenblock ändern, erstellt Azure Data Manager for Energy eine neue Version. ACZ erkennt die Änderung und schreibt eine neue Zeile in die Delta-Tabelle.
• Aktualisierungen nur an Metadaten: Wenn ein PATCH-Vorgang die Zugriffskontrollliste, rechtliche Einstellungen oder Tags ändert, ohne eine neue Version zu erstellen, erkennt ACZ diese Änderung und führt für die vorhandene Zeile ein Merge-Upsert aus.
• Soft löscht: Wenn Sie einen Datensatz in Azure Data Manager for Energy vorläufig löschen, legt ACZ das Feld isActive auf False in der Zeile fest, anstatt ihn zu entfernen. Vorläufiges Löschen behält den Verlauf für Überwachungs- und Zeitreiseabfragen bei.
• Purges: Wenn Sie einen Datensatz in Azure Data Manager for Energy löschen, entfernt ACZ den Datensatz dauerhaft aus der Delta-Tabelle. Die Zeile wird gelöscht und kann nicht aus den ACZ-Daten wiederhergestellt werden.

Datenausgabeformat

ACZ schreibt Daten im Delta Lake-Format mit Parkett-codierten Dateien (DELTA_PARQUET). Delta Lake unterstützt Atomität, Konsistenz, Isolation und Haltbarkeitstransaktionen. Es unterstützt auch Zeitreisen und effiziente inkrementelle Lesevorgänge.

Data Lake Storage Gen2 Ordnerstruktur

ACZ organisiert Daten in Ihrem Data Lake Storage Gen2 Speicherkonto nach Ordner. Jede ACZ-Instanz erhält einen eigenen Ordner unter dem Container oder unter dem Basispfad, falls Sie einen angegeben haben. ACZ partitioniert Delta-Lake-Tabellen im Katalog nach Typ. Ein Ordner pro DDMS-Entitätstyp und Datensatz-ID.

Ordnerstruktur

Wichtige Details

Delta-Tabellenschema

Die Delta-Tabelle weist die folgenden Felder auf:

Beschränkungen und Zugriff

Vorschaubeschränkungen

Authentifizierung und Autorisierung

ACZ erfordert:

• API-Zugriff: Um ACZ-APIs aufzurufen, müssen Sie zu den users@{data-partition-id}.dataservices.energy Und-Gruppen users.datalake.ops@{data-partition-id}.dataservices.energy gehören.
• Speicherzugriff: Die verwaltete Identität benötigt die Rolle „Mitwirkender an Storage-Blobdaten“ (oder eine gleichwertige) für den Data Lake Storage Gen2-Container. Teilen Sie während der Vorschau die Identitätsdetails mit Microsoft, um der Zulassungsliste die Identität hinzuzufügen.
• Azure Data Manager for Energy access: Die verwaltete Identität muss dem Azure Data Manager für Energieressource zugewiesen werden.

Verwandte Inhalte

• Analysenutzungszone aktivieren
• Lernprogramm: Verwenden von ACZ-APIs
• Verbinden von ACZ-Daten mit Fabric
• Verbinden von ACZ-Daten mit Azure Databricks