Was sind Azure Databricks-Reinräume?

Auf dieser Seite werden Clean Rooms eingeführt, ein Azure Databricks-Feature, das OpenSharing und serverlose Compute verwendet, um eine sichere und datenschutzgeschützte Umgebung bereitzustellen, in der mehrere Parteien gemeinsam an vertraulichen Unternehmensdaten zusammenarbeiten können, ohne direkten Zugriff auf die Daten der anderen zu haben.

Anforderungen

Um für die Nutzung von Reinräumen berechtigt zu sein, müssen Sie folgendes haben:

Funktionsweise von Reinräumen

Durch die Erstellung eines Reinraums erstellen Sie Folgendes:

  • Ein absicherbares Clean Room-Objekt in Ihrem Unity Catalog-Metastore
  • Den „zentralen“ Reinraum, bei dem es sich um eine isolierte kurzlebige Umgebung handelt, die von Databricks verwaltet wird
  • Ein sicherungsfähiges Clean Room-Objekt im Unity Catalog-Metastore Ihres Mitarbeiters.

Tabellen, Volumes (nicht tabellarische Daten), Ansichten und Notebooks, die jeder der beiden Beteiligten im Clean Room freigibt, werden ausschließlich über OpenSharing für den zentralen Clean Room freigegeben.

Mitarbeiter können die Daten in den Tabellen, Ansichten oder Volumes anderer Mitarbeiter nicht sehen, aber sie können Spaltennamen und Spaltentypen sehen, und sie können genehmigten Notizbuchcode ausführen, der über die Datenressourcen ausgeführt wird. Der Code des Notebooks wird im zentralen Clean Room ausgeführt. Notebooks können auch Ausgabetabellen generieren, mit denen Ihr Mitbearbeiter schreibgeschützte Ausgaben vorübergehend in seinem Unity Catalog-Metastore speichern kann, sodass er in seinen Arbeitsbereichen damit arbeiten kann.

Einfache Architektur und Prozessablauf von Reinräumen mit Ausgabetabellen

Wie stellt Clean Rooms eine Zero-Trust-Umgebung sicher?

Das Modell für Databricks Clean Rooms ist ein „No-Trust“-Modell. Alle Mitwirkenden in einem Clean Room ohne Vertrauensmodell verfügen über die gleichen Berechtigungen, einschließlich des Erstellers des Clean Rooms. Clean Rooms wurde entwickelt, um die Ausführung von nicht autorisiertem Code und die unbefugte Freigabe von Daten zu verhindern. Diese Vertrauensstellung wird explizit erzwungen, indem alle Mitarbeiter ein Notizbuch genehmigen müssen, bevor es ausgeführt werden kann. Obwohl Sie ein Notizbuch selbst hochladen können, muss es von den anderen Mitwirkenden genehmigt werden, bevor es ausgeführt werden kann. Siehe Genehmigen eines Notizbuchs in einem reinen Raum.

Hinweis

Vorgefertigte Reinräume sind eine Ausnahme von diesem Modell. Sie verwenden ein Anbieter-Consumer-Modell, bei dem Mitarbeiter keine gleichen Berechtigungen haben. Siehe vorgefertigte Reinräume.

Zusätzliche Schutzmaßnahmen oder Einschränkungen

Die folgenden Garantien sind zusätzlich zum oben genannten expliziten Genehmigungsprozess für Notizbücher vorhanden:

  • Nachdem ein Reinraum erstellt wurde, wird er gesperrt, damit ihm keine neuen Projektmitarbeiter beitreten können.

  • Wenn ein Projektmitarbeiter den Reinraum löscht, wird der zentrale Reinraum ungültig, und kein Benutzer kann Aufgaben im Reinraum ausführen.

  • Jeder Reinraum ist auf zehn Mitarbeiter beschränkt.

  • Sie können den Reinraum nicht umbenennen.

    Der Name des Reinraums muss im Metastore jedes Mitarbeiters eindeutig sein, damit alle Mitarbeiter eindeutig auf denselben Reinraum verweisen können.

  • Wenn ein Mitarbeiter Kommentare zu einem Clean Room hinzufügt, der in dessen Arbeitsbereich gesichert werden kann, werden diese Kommentare nicht an andere Mitarbeiter weitergegeben.

Welche Daten werden für andere Projektmitarbeiter freigegeben?

  • Der Name des Reinraums
  • Die Cloud und die Region des zentralen Reinraums
  • Der Name Ihrer Organisation (ein beliebiger von Ihnen ausgewählter Name)
  • Ihre Kennung für die Clean-Room-Freigabe (globale Metastore-ID + Arbeitsbereichs-ID + E-Mail-Adresse des Benutzers).
  • Aliase von freigegebenen Tabellen, Sichten oder Volumes
  • Spaltenmetadaten (Spaltenname oder Spaltenalias und -typ)
  • Notebooks (schreibgeschützt)
  • Ausgabetabellen (schreibgeschützt, temporär).
  • Systemtabelle für Reinraumereignisse
  • Ausführungsverlauf, einschließlich:
    • Name des ausgeführten Notebooks
    • Mitarbeiter, der das Notebook ausgeführt hat (nicht der Benutzer)
    • Der Status der Notebookausführung.
    • Startzeit der Notebook-Ausführung

Was wird mit dem zentralen Clean Room geteilt?

  • Alles, was im vorherigen Abschnitt aufgeführt ist.

  • Schreibgeschützte Tabellen, Volumes, Sichten und Notebooks

    Tabellen, Ansichten und Volumes werden im Metastore des zentralen Reinraums mit allen bereitgestellten Aliasen registriert. Datenressourcen werden während des gesamten Lebenszyklus des Reinraums freigegeben.

Häufig gestellte Fragen zu Clean Rooms

Im Folgenden werden häufig gestellte Fragen zu Reinräumen gestellt.

Wie werden meine Daten in einem Reinraum verwaltet?

Der zentrale Reinraum wird von Azure Databricks verwaltet. Im zentralen Reinraum:

  • Keine der Parteien verfügt über Administratorrechte.
  • Nur Metadaten sind für alle Parteien sichtbar.
  • Jede Partei kann dem zentralen Reinraum Daten hinzufügen.
  • Clean Rooms verwenden OpenSharing, um Daten sicher im Clean Room zu teilen, jedoch nicht unter den Teilnehmern. Siehe Was ist OpenSharing?.

Wie werden meine Daten privat gehalten?

Zentrale Reinräume werden in einer isolierten, von Databricks verwalteten serverlosen Computingebene ausgeführt, die in der Region eines Cloudanbieters gehostet wird, die die Person, die den Reinraum erstellt, wählt.

Saubere Räume bieten:

  • Codegenehmigung: Die Person, die den Reinraum erstellt, sowie Projektmitarbeitende können Tabellen und Volumes für den zentralen Reinraum freigeben. Sie können jedoch nur Notebooks ausführen, die von der anderen Partei hochgeladen wurden. Sie können den von der anderen Partei hinzugefügten Code überprüfen, bevor Sie die Genehmigung genehmigen. Wenn Sie ein Notizbuch ausführen, das von einer anderen Partei hinzugefügt wurde, genehmigen Sie den Code implizit.
  • Versionskontrolle: Notebooks in Reinräumen verfügen über eine Versionskontrolle, um sicherzustellen, dass alle Parteien nur vollständig genehmigte Notebooks ausführen können. Es kann nur die neueste Version eines Notizbuchs ausgeführt werden. Mithilfe der Systemtabelle "Clean Rooms" können Sie sehen, welche Version des Notizbuchs ausgeführt wurde, und alle vorgenommenen Änderungen überwachen.
  • Eingeschränkter Zugriff: Wenn Sie einen Reinraum erstellen, können Sie serverlose Ausgangssteuerung verwenden, um ausgehende Netzwerkverbindungen zu verwalten. Wenn Sie den Zugriff von Ihrem Reinraum einschränken, wird der Zugriff auf nicht autorisierten Speicher blockiert. Siehe Was ist serverlose Ausgangskontrolle?

Weitere Informationen zur Sicherheit und zur serverlosen Computingebene finden Sie unter Netzwerke auf der serverlosen Computeebene.

Wie werden Aktionen aufgezeichnet?

Von Ihnen oder Ihren Mitarbeitern ausgeführte Clean Room-Aktionen werden in der Systemtabelle für Clean Room-Ereignisse aufgezeichnet. Zu diesen Datensätzen gehören detaillierte Metadaten zu den ausgeführten Aktionen. Siehe Verweis auf die Systemtabelle für Reinraumereignisse.

Clean Room-Aktionen werden auch im Überwachungsprotokoll Ihres Kontos unter dem Dienst clean-roomaufgezeichnet. Siehe Clean Rooms-Ereignisse.

Wenn ein Mitarbeiter Berechtigungen für einen Reinraum, der in seinem Metaspeicher gesichert ist, ändert, werden diese Änderungen in seinen Audit-Protokollen unter dem unityCatalog-Dienst aufgezeichnet.

Wie funktioniert die Abrechnung?

Weitere Informationen zu den Preisen für Databricks Clean Rooms finden Sie unter "Link".

Begrenzungen

Es gelten die folgenden Einschränkungen:

  • Die erforderliche Databricks Runtime-Version enthält keine Scala-Bibliotheken für Dienstanmeldeinformationen.

Ressourcenkontingente

Azure Databricks erzwingt Ressourcenkontingente für alle sicherungsfähigen Clean Room-Objekte. Diese Kontingente werden in den Ressourcengrenzwerten aufgeführt. Wenn Sie davon ausgehen, dass Sie diese Ressourcengrenzwerte überschreiten, wenden Sie sich an Ihr Azure Databricks-Kontoteam.

Sie können Ihren Kontingentbedarf mithilfe der Unity Catalog-Ressourcenkontingent-APIs überwachen. Weitere Informationen finden Sie unter Überwachen des Bedarfs an Unity-Katalogressourcenkontingenten.

Erste Schritte

  • Last updated on