Transactions

トランザクションを使用すると、複数の SQL ステートメントとテーブル間で操作を調整できます。 すべての変更は同時に成功するか、同時にロールバックされることで、操作とテーブル間のデータの一貫性が確保されます。 トランザクションには、ACID プロパティ (原子性、整合性、分離性、持続性) が含まれます。 Azure Databricks での ACID の保証とは何ですか？を参照してください。

トランザクションは、 ストアド プロシージャ と SQL スクリプト と共に使用して、ミッション クリティカルなウェアハウス ワークロードを構築できます。

トランザクションの例を次に示します。

非対話型

BEGIN ATOMIC
  UPDATE accounts SET balance = balance - 100 WHERE id = 1;
  UPDATE accounts SET balance = balance + 100 WHERE id = 2;
  INSERT INTO audit_log VALUES (1, 2, 100, current_timestamp());
END;

インタラクティブ

BEGIN TRANSACTION;
UPDATE accounts SET balance = balance - 100 WHERE id = 1;
UPDATE accounts SET balance = balance + 100 WHERE id = 2;
INSERT INTO audit_log VALUES (1, 2, 100, current_timestamp());
COMMIT;

3 つのステートメントはすべて同時にコミットされます。 ステートメントが失敗した場合、すべての変更がロールバックされ、Databricks は副作用なしでトランザクションを終了します。

トランザクションの実践的な練習については、「 チュートリアル: テーブル間でトランザクションを調整する」を参照してください。

必要条件

複数のステートメントまたは複数のテーブルにまたがるトランザクションを実行するには:

• 書き込まれるすべてのテーブルは、次の条件を満たす必要があります。
  • Unity Catalog のマネージド テーブル（Delta Lake または Iceberg）である
  • カタログコミットを有効にする
• サポートされているコンピューティングを使用します。
  • 非対話型トランザクションの場合は、Databricks Runtime 18.0 以降を実行している SQL ウェアハウス、サーバーレス コンピューティング、またはクラスターを使用します。
  • 対話型トランザクションの場合は、任意の SQL ウェアハウスを使用します。
  • OpenSharing 共有資産のトランザクションの場合は、Databricks Runtime 18.1 以降を使用します。

トランザクション モード

Azure Databricksでは、次の 2 つのトランザクション モードがサポートされています。

両方のモードの構文、例、使用パターンの詳細については、「 トランザクション モード」を参照してください。

サポートされている操作

トランザクション内で次の操作を使用できます。

サポートされている読み取りソースと書き込みシンク

トランザクションを使用すると、Unity カタログ テーブル (Delta Lake と Iceberg)、ストリーミング テーブル、ビュー、具体化されたビューから読み取ります。

ACID の保証により、Delta Lake や Iceberg などのオープン テーブル形式は、読み取りソースと書き込みシンクの両方としてトランザクションでサポートされます。 非トランザクション ソースから読み取る場合は、 allow_nontransactional_read ヒントを使用します。 非トランザクション ソースからの読み取りと例: 非トランザクション読み取りを参照してください。

非トランザクション ソースからの読み取り

トランザクションを使用すると、非トランザクション ソースから読み取りを行えます。 非トランザクション ソースには、Parquet、Avro、CSV、JSON ファイル形式を使用した外部テーブル、 および JDBC を使用したフェデレーション テーブルが含まれます。 非トランザクション ソースを読み取る場合は、名前でソースを参照し、 allow_nontransactional_read ヒントを使用します。

パスベースのアクセスはサポートされていません。 FROM parquet.`/path/to/data`などのパスでファイルを直接参照すると、トランザクションはPATH_BASED_ACCESS エラーで失敗します。

次のコード例は、JSON を使用して外部テーブルでヒントを使用する方法を示しています。

BEGIN TRANSACTION;
-- Non-transactional source, hint required
INSERT INTO transactional_table
SELECT col1, col2
FROM external_json_table
WITH (allow_nontransactional_read = true);

COMMIT;

例: 非トランザクション読み込み

次の例は、Parquet を使用した外部テーブルからの非トランザクション読み取りを示しています。 この例では、読み取りおよび書き込みアクセス権を持つ既存の外部の場所が必要です。

Azure Data Lake Storage Gen2 (ADLS Gen2) 外部の場所への接続を参照してください。

Parquet ソースを名前付き外部テーブルとして登録するには、次のコマンドを実行します。

CREATE TABLE main.default.external_parquet_table
USING PARQUET
LOCATION 'abfss://my-container@my-storage-account.dfs.core.windows.net/path/to/data'; -- existing external location

トランザクションで Delta Lake を使用して非トランザクション Parquet ソースとマネージド テーブルの両方を読み取るために、次のコマンドを実行します。

BEGIN ATOMIC
-- Non-transactional source, hint required
INSERT INTO transactional_table
SELECT col1, col2
FROM external_parquet_table
WITH (allow_nontransactional_read = true);

-- Managed table source, no hint is required
INSERT INTO another_table
SELECT * FROM managed_delta_table;
END;

トランザクションの分離

トランザクションでは、すべてのステートメントで反復可能な読み取りが可能です。 トランザクション内のテーブルにアクセスすると、Azure Databricksは最初のアクセス時にそのテーブルの一貫性のあるスナップショットをキャプチャします。 そのテーブルの後続の読み取りはすべてこのスナップショットを使用するため、他のユーザーが同じテーブルを同時に変更した場合でも読み取りの一貫性が維持されます。

次の例では、トランザクションで products する最初のクエリによって、一貫性のあるスナップショットがキャプチャされます。

非対話型

BEGIN ATOMIC
  SELECT * FROM products WHERE product_id = 1001;
  SELECT * FROM products WHERE product_id = 1001;
END;

インタラクティブ

BEGIN TRANSACTION;
SELECT * FROM products WHERE product_id = 1001;
SELECT * FROM products WHERE product_id = 1001;
COMMIT;

次に、別のユーザーが 2 番目のクエリを開始する前に、 product_id = 1001 の行を同時に更新するとします。

UPDATE products SET price = 29.99 WHERE product_id = 1001;

スナップショットは最初のアクセス時にキャプチャされたため、 products する 2 番目のクエリは、更新された行ではなく、元の行を返します。

競合の検出とコンカレンシー

Azure Databricksはオプティミスティック コンカレンシー制御を使用します。 トランザクションはロックされずに続行され、コミット時に競合が検出されます。 コミットすると、トランザクションの開始後に他のトランザクションが同じデータを変更したかどうかがAzure Databricksチェックされます。 競合が存在する場合、トランザクションは失敗します。 非対話型トランザクションの場合、ロールバックも自動的に行われます。 対話型トランザクションの場合は、 ROLLBACK を明示的に実行して、新しいトランザクションを開始する前にトランザクションの状態をクリアする必要があります。

非対話型トランザクションでは、行レベルのコンカレンシーがサポートされます。 ターゲット テーブルで行 レベルのコンカレンシー が有効になっている場合、2 つのトランザクションで同じデータ ファイル内の異なる行が競合することなく変更される可能性があります。

対話型トランザクションでは、テーブル レベルのコンカレンシーがサポートされます。

競合シナリオ

トランザクションの分離レベルと競合解決の詳細については、「 トランザクション モード」を参照してください。 Azure Databricks上の Delta Lake テーブルの分離レベルと書き込みの競合動作については、 Azure Databricks の最適化に関する推奨事項を参照してください。

デルタ ログでのトランザクションの表示方法

成功した各トランザクションは、トランザクション内で実行された個々のステートメントの数に関係なく、テーブルの Delta ログに 1 つのエントリとして表示されます。 これにより、クリーンな監査証跡が可能になり、ロールバック操作が簡略化されます。

トランザクション内の個々の操作は、トランザクションのデルタ ログ エントリで JSON メタデータとして使用できます。

エラー処理とロールバック

次の表では、両方のトランザクションの種類でエラーロールバックがどのように発生するかを示します。

対話型トランザクションの場合は、 ROLLBACK ステートメントを使用して明示的にロールバックできます。 これにより、検証ロジックまたはビジネス ルールに基づいて、またはセッションがアクティブな状態のままステートメントが失敗した後に、変更を破棄できます。

ベスト プラクティス

競合を減らし、トランザクションのパフォーマンスを最適化するには、次のプラクティスに従います。

競合を回避する

• トランザクションを短くする: 実行時間の長いトランザクションは競合の可能性を高め、リソースを長く保持します。
• 早期検証: トランザクションの開始時に前提条件を確認して、問題があれば迅速に終了します。
• Databricks では、ほとんどのユース ケースで非対話型トランザクションが推奨されます。非対話型トランザクションでは行レベルのコンカレンシーが使用されます。 非対話型トランザクションを参照してください。
• 競合時の再試行: 競合が発生した場合は、新しいデータを使用してトランザクションを再試行します。

異なるクライアントからのトランザクションを使用する

トランザクションは、さまざまなクライアント インターフェイスで機能します。

• SQL エディターとノートブック: BEGIN ATOMIC ... END; または BEGIN TRANSACTION; ... COMMIT; 構文を SQL セルに直接使用するか、Python/Scala ノートブックで spark.sql() を使用します。 トランザクション モードを参照してください。
• JDBC アプリケーション: setAutoCommit(false) バージョン 3.0.5 以降で JDBC API メソッド (commit()、rollback()、) を使用します。 「例: トランザクションを使用する」を参照してください。 トランザクション内でサポートされていない JDBC 操作の一覧については、「 サポートされていない JDBC 操作」を参照してください。
• ODBC アプリケーション: Databricks ODBC Driver バージョン 2.10.0 以降を使用します。 トランザクション内でサポートされていない ODBC 操作の一覧については、「 サポートされていない ODBC 操作」を参照してください。
• Python アプリケーション: databricks SQL Connector と autocommit=False を使用します。 Databricks SQL コネクタ for Python を参照してください。 トランザクション内でサポートされていないPython コネクタ操作の一覧については、「Unsupported Python コネクタ操作を参照してください。
• ステートメント実行 API: API 呼び出しを使用して SQL 構文を使用してトランザクションを実行します。 「ステートメント実行 API での使用」を参照してください。

制限事項

トランザクションには、次の制限事項が適用されます。

その他のリソース

• トランザクション モード
• チュートリアル: テーブル間でトランザクションを調整する
• カタログのコミット
• 分離レベルと書き込みの競合
• ATOMIC 複合ステートメント (非対話型トランザクション)
• BEGIN TRANSACTION (対話型トランザクション)
• COMMIT
• ROLLBACK