Anreichern von Tabellen mit benutzerdefinierten Metadaten

Databricks empfiehlt, immer Kommentare für Tabellen und Spalten in Tabellen zu erstellen. Sie können diese Kommentare mithilfe von KI generieren. Siehe Hinzufügen von KI-generierten Kommentaren zu Unity Catalog-Objekten.

Unity Catalog hat auch die Möglichkeit, Daten zu kategorisieren. Weitere Informationen finden Sie unter Anwenden von Tags auf sicherungsfähige Unity Catalog-Objekte.

Protokollieren von Nachrichten für einzelne Commits in Tabellen in einem Feld im Transaktionsprotokoll.

Festlegen benutzerdefinierter Commitmetadaten

Geben Sie benutzerdefinierte Zeichenfolgen als Metadaten in Commits mithilfe der DataFrameWriter-Option userMetadataan. Sie können diese Option mit jedem Beliebigen Schreibmodus verwenden, einschließlich append und overwrite. Diese benutzerdefinierten Metadaten sind im Vorgang DESCRIBE HISTORY lesbar. Weitere Informationen finden Sie unter "Arbeiten mit Tabellenverlauf".

SQL

Für Delta-Tabellen:

SET spark.databricks.delta.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Für Iceberg-Tabellen:

SET spark.databricks.iceberg.commitInfo.userMetadata=overwrite-comment
INSERT OVERWRITE target_table SELECT * FROM data_source

Python

df.write \
  .mode("overwrite") \
  .option("userMetadata", "overwrite-comment") \
  .saveAsTable("target_table")

df.write \
  .mode("append") \
  .option("userMetadata", "append-comment") \
  .saveAsTable("target_table")

userMetadata funktioniert mit jedem Schreibmodus, einschließlich overwrite und append.

Scala

df.write
  .mode("overwrite")
  .option("userMetadata", "overwrite-comment")
  .saveAsTable("target_table")

df.write
  .mode("append")
  .option("userMetadata", "append-comment")
  .saveAsTable("target_table")

userMetadata funktioniert mit jedem Schreibmodus, einschließlich overwrite und append.

Hinweise zu Computetypen

Bei der klassischen Berechnung können Sie auch benutzerdefinierte Commit-Metadaten mithilfe der SparkSession-Konfigurationsschlüssel spark.databricks.delta.commitInfo.userMetadata (Delta) oder spark.databricks.iceberg.commitInfo.userMetadata (Iceberg) angeben. Wenn sowohl die DataFrameWriter-Option userMetadata als auch die SparkSession-Konfiguration angegeben sind, hat die DataFrameWriter-Option Vorrang.

Verwenden Sie auf serverloser Berechnung die DataFrameWriter-Option userMetadata direkt. Die SparkSession-Konfigurationsschlüssel für Commitmetadaten werden auf serverloser Berechnung nicht unterstützt.