Migrieren von Azure Data Explorer (ADX) zu Fabric Real-Time Intelligence (Eventhouse)

In diesem Artikel erfahren Sie, wie Sie Ihre Analyseworkloads schrittweise von Azure Data Explorer zu Eventhouse in Fabric Real-Time Intelligence ohne Ausfallzeiten übertragen. Verwenden Sie Fabric als Abfrageebene , während ADX weiterhin Daten erfasst, um die Features von Fabric zu erkunden. Wenn Sie bereit sind, vollständig zu migrieren, indem Sie Schema und Datenerfassung nach Fabric verschieben.

Wenn Sie nicht warten können, bis Ihre Daten in ADX veraltet sind und sie in Eventhouse kopieren müssen, sollten Sie Open Source Tool Kusto Copy in Betracht ziehen.

ADX-Daten in Fabric verwenden

Behalten Sie ADX nur für die Datenaufnahme bei, und verlagern Sie die Abfrageausführung mithilfe einer dieser beiden Methoden nach Fabric, um ADX-Daten aus Fabric zu nutzen, ohne Daten zu duplizieren.

• Fabric-Datenbankverknüpfung (Follower)

  Erstellen Sie eine Datenbankverknüpfung zu einer Azure Data Explorer-Datenbank, und abfragen Sie, ohne Daten zu Fabric zu migrieren. Eine Datenbankverknüpfung in der Fabric Real-Time Intelligence-Workload ist ein eingebetteter Verweis innerhalb einer Kusto Query Language (KQL)-Datenbank auf eine Quelldatenbank in Azure Data Explorer. Das Verhalten der Datenbankverknüpfung ähnelt einer nachgeordneten Datenbank. Es ist schreibgeschützt, synchronisiert neue Daten mit einer geringen Verzögerung (Sekunden bis Minuten) und ermöglicht allen Fabric-Elementen, ADX-Daten einzusehen und abzufragen, ohne sie erneut zu ingestieren.

• Anfügen des ADX-Clusters als abfragefähige Quelle

  Stellen Sie in Fabric sicher, dass Sie über eine Verbindung mit dem ADX-Cluster verfügen. Fügen Sie in einem KQL-Abfrageset eine Azure Data Explorer-Quelle hinzu, mit der bestimmte Fabric-Elemente wie KQL-Abfragesets und Echtzeit-Dashboards ADX-Daten abfragen können. Weitere Informationen finden Sie unter Abfragedaten in einem KQL-Abfrageset – Microsoft Fabric.

  Testen Sie die Funktionen von Fabric wie copilotgestützte Abfragegenerierung, Notizbücher, Aktivierer und Power BI-Berichte zu Ihren ADX-Daten. Führen Sie alle Dashboards und Abfragen in Fabric aus, während die Aufnahme weiterhin in ADX erfolgt. Wenn Sie bereit sind, vollständig zu migrieren, führen Sie die nächsten Schritte aus.

Übergeordnete Migrationsschritte

Führen Sie die folgenden Schritte aus, um von ADX zu Fabric zu migrieren:

1. Erstellen einer neuen KQL-Datenbank in Fabric mit dem ADX-Schema
2. Erstellen einer Ansicht mit Union-Operator, die sowohl auf die Tabelle in der KQL-Datenbank als auch auf die Tabelle in der ADX-Datenbank zugreift
3. Umleiten von Abfrageendpunkten zur KQL-Datenbank in Fabric Eventhouse
4. Wechseln der Datenaufnahme zu Fabric
5. ADX-Cluster stilllegen

In den folgenden Abschnitten finden Sie Details zu den einzelnen Schritten.

Erstellen einer KQL-Datenbank in Fabric mit ADX-Schema

1. Erstellen Sie eine leere KQL-Datenbank in einem Fabric-Ereignishaus, das schließlich die ADX-Datenbank ersetzt. Es muss dasselbe Tabellen- und Funktionsschema wie Ihre ADX-Datenbank aufweisen. Anweisungen finden Sie unter Erstellen eines Ereignishauses und einer KQL-Datenbank.

2. Replizieren des Schemas

   Verwenden Sie den Sync Kusto , oder exportieren Sie das Schema aus der ADX-Datenbank, um es in der Fabric-KQL-Datenbank neu zu erstellen. SyncKusto ist ein dediziertes Tool, das Kusto-Datenbankschemas (Tabellen, Funktionen usw.) zwischen Umgebungen synchronisiert.

   Alternativ können Sie den KQL-Befehl ausführen: .show database schema as csl script in ADX, der ein Skript aller Tabellendefinitionen, Funktionen und Richtlinien generiert, und dann das generierte Skript in der KQL-Datenbank in Fabric ausführen.execute database script.

3. Schema überprüfen

   Bestätigen Sie alle Tabellen, Spalten, Datentypen und relevanten Richtlinien (Aufbewahrung, Zwischenspeicherung usw.) in der KQL-Datenbank mit denen in der ADX-Datenbank. Zu diesem Zeitpunkt ist die Fabric-KQL-Datenbank leer, kann jedoch daten empfangen, und Sie können ADX weiterhin mithilfe von Methoden aus dem Abschnitt "Untersuchen von ADX-Daten in Fabric " abfragen.

Erstellen von Union-Ansichten für den nahtlosen Datenzugriff

Um Unterbrechungen während der Datenmigration zu vermeiden, erstellen Sie KQL-Ansichten in Fabric, die Daten aus der alten ADX-Datenbank und der neuen Fabric KQL-Datenbank kombinieren. Mit diesem Ansatz können Abfragen während des Übergangs ein vollständiges Dataset zurückgeben:

1. Definieren von Union-Ansichten

   Erstellen Sie für jede Tabelle in Fabric (mit .create function with (view=true)) eine gespeicherte Funktion, die die Fabric-Tabelle mit der entsprechenden ADX-Tabelle vereint. Benennen Sie die Funktion genau so wie die Tabelle, um sie transparent außer Kraft zu setzen. Erstellen Sie beispielsweise für eine Tabelle MyTableeine Funktion mit dem folgenden Befehl:

   .create function with (view=true) MyTable() {
       MyTable 
       | union cluster("YourADXCluster").database("YourDatabase").MyTable
   }
   

   Diese Ansicht gibt die Union der lokalen MyTable in der Fabric-KQL-Datenbank zurück, die derzeit leer ist oder neue Daten empfängt, und die Remotetabelle MyTable in der ADX-Datenbank.

   Da der Name der Ansicht "MyTable" lautet, fragt jede Abfrage oder jeden Bericht, der diesen Tabellennamen verwendet, automatisch beide Quellen ab.

   Fabric und ADX können sich in unterschiedlichen Clustern oder Mandanten befinden. Wenn sich der Erstellungsbefehl über den externen Verweis beschwert, verwenden Sie die skipvalidation=true Option in der Funktionserstellung, die manchmal für clusterübergreifende Funktionen erforderlich ist.

2. Testen der Ansicht

   Führen Sie eine Zähl- oder Beispielabfrage für diese Ansicht aus (z. B. MyTable | count), um sicherzustellen, dass sie Daten aus ADX zurückgibt. Die Fabric-KQL-Datenbank ist derzeit noch leer, aber wenn Sie im nächsten Schritt die Datenerfassung migrieren, liefert die Ansicht sowohl alte als auch neue Datensätze.

Umleiten von Abfrageendpunkten zur KQL-Datenbank in Fabric Eventhouse

Aktualisieren Sie nun Ihre Tools und Anwendungen, um die neue Fabric-KQL-Datenbank anstelle der ADX-Datenbank abzufragen:

1. Aktualisieren von Verbindungszeichenfolgen

   Ändern Sie Analyseanwendungen, KQL-Abfragen oder Power BI-Berichte, um den Endpunkt der KQL-Datenbank (Abfrage-URI) anstelle des ADX-Clusters zu verwenden. Die Abfragen bleiben gleich, da Tabellennamen und KQL nicht geändert wurden, aber sie werden jetzt in Fabric ausgeführt. Aufgrund der im vorherigen Schritt erstellten Union-Ansicht erhalten Benutzer, die die Fabric-KQL-Datenbank abfragen, weiterhin alle historischen Daten aus ADX über die Ansicht sowie alle neuen Daten, die in Fabric aufgenommen werden.

2. Testberichte und Apps

   Stellen Sie sicher, dass Dashboards und Skripts Ergebnisse wie erwartet aus der Fabric-KQL-Datenbank erhalten. Die Leistung kann sich leicht unterscheiden. Fabric kann einige ADX-Daten zwischenspeichern, wenn Sie eine Verknüpfung verwendet haben. Dieser Schritt verschiebt die Abfrageendpunkte effektiv auf Fabric. Von hier aus treten alle Lese-/Abfragevorgänge in Fabric auf.

Stellen Sie die Datenaufnahme auf Fabric um

Da Abfragen nun über Fabric verarbeitet werden, leiten Sie die eingehenden Datenströme an Fabric weiter:

1. Neuaufnahmepipelinen

   Ändern Sie alle Datenhersteller wie IoT-Geräte, ETL-Aufträge (Extract-Transform-Load), Event Hubs-Verbindungen und andere, die zuvor in die ADX-Datenbank aufgenommen wurden, sodass sie in die Fabric-KQL-Datenbank aufgenommen werden. Dieser Schritt kann das Ändern von Cluster-URLs, der Authentifizierung oder das Aktualisieren von Verbindungszeichenfolgen in Azure Data Factory, Stream Analytics oder benutzerdefinierten Apps umfassen, um den KQL-Datenbankerfassungsendpunkt oder die -URI zu verwenden.

2. Überprüfen des neuen Datenflusses

   Überprüfen Sie, ob neue Datensätze in Tabellen in der KQL-Datenbank landen. Die KQL-Datenbank in Fabric beginnt mit dem Sammeln von Daten. Da Sie die Union-Ansichten verwenden, zeigen Abfragen in Fabric weiterhin ein einheitliches Dataset an. Im Laufe der Zeit werden Daten in ADX veraltet, da nach diesem Switch keine neuen Daten in ADX aufgenommen werden.

ADX-Cluster stilllegen

Wenn Sie sicher sind, dass alle erforderlichen Daten in Fabric verfügbar sind, setzen Sie die alten ADX-Ressourcen außer Betrieb:

1. Entfernen von Union-Verweisen

   Ändern oder löschen Sie die UNION-Ansichten, sodass Abfragen nicht auf den ADX-Cluster zugreifen. Aktualisieren Sie beispielsweise die Funktionsdefinition zu MyTable { MyTable }, sodass nur lokale Daten verwendet werden, oder entfernen Sie die Funktion, wenn die physische Tabelle in Fabric alle Daten enthält. Überprüfen Sie, ob Ihre Abfragen und Dashboards wie erwartet mit Daten ausschließlich aus Fabric funktionieren.

2. Archivieren oder Übertragen von historischen Daten (falls erforderlich)

   Wenn in ADX noch historische Daten vorhanden sind, die nicht verschoben wurden (z. B. wenn Sie nicht gewartet haben, bis sie aufgrund der Aufbewahrungsrichtlinie automatisch gelöscht werden), sollten Sie erwägen, diese Daten vor der Abschaltung nach Fabric zu exportieren. Andernfalls fahren Sie fort, wenn die Daten in ADX über die Aufbewahrungsanforderungen hinausgehen.

3. Außerbetriebnahme von ADX

   Wenn Fabric sowohl Abfragen als auch die Datenerfassung übernimmt, fahren Sie den ADX-Cluster herunter oder löschen Sie ihn, um Kosten zu sparen. Alle Benutzer sollten jetzt eine Verbindung mit Fabric herstellen.

Zusammenfassung

Indem Sie die Schritte in diesem Artikel ausführen, migrieren Sie von ADX zu Fabric mit minimalen Unterbrechungen. Zunächst verschieben Sie die Nutzungsebene zu Fabric, wodurch Funktionen wie Copilot, Power BI, Notebooks und Activator verfügbar werden, und verlagern dann schrittweise das Backend zu Fabric. Die Echtzeitintelligenz (Eventhouse) von Fabric verarbeitet nun sowohl die Erfassung als auch die Abfrage Ihrer Daten, und ADX wird nicht verwendet.