レイクハウス Real-Time

Important

この機能は ベータ版です。 Databricks アカウント チームに連絡して、アカウントでこの機能を有効にします。

Lakehouse//RT は開発中です。 パフォーマンス特性とサポートされている機能セットは、一般公開前に変更されます。

Lakehouse Real-Time (Lakehouse/RT) は、カスタム アプリケーションへの分析データの提供、運用分析の実行、数百から数千人の同時実行ユーザーに対する 1 秒未満の応答を必要とする BI ダッシュボードの強化など、待機時間が短くコンカレンシーの高いユース ケース用に構築されたサーバーレス コンピューティングです。

Lakehouse//RT では、クラウド ストレージで Delta Lake 形式または Apache Iceberg 形式を使用する Unity カタログ テーブルに対する SQL 読み取りクエリで 1 秒未満の待機時間が提供されます。 他の SQL ウェアハウスと同様に、Lakehouse//RT を作成して管理します。 ワークスペース管理者または特権ユーザーは、ワークスペースごとに 1 つ以上を作成し、ユーザーにアクセス許可を割り当てます。

Requirements

Lakehouse//RT を使用するには、次の手順を実行する必要があります。

ワークスペースで Lakehouse//RT を有効にする

ワークスペース管理者は、ワークスペースで Lakehouse//RT Beta を有効にすることができます。

  1. ワークスペース メニュー (右上隅) で、[プレビュー] に移動 します。
  2. Lakehouse RT を検索します。
  3. プレビューを有効にします。

プレビューを有効にすると、ワークスペースの SQL ウェアハウス作成フローで リアルタイム ウェアハウスの種類が使用できるようになります。

Lakehouse//RT ウェアハウスを作成

Lakehouse//RT ウェアハウスを作成するには:

  1. Compute>SQL Warehouses>Create SQL Warehouse に移動します。
  2. [リアルタイム] を選択します。
  3. クエリに必要なパフォーマンスに応じて、 サイズ (Small、 Medium、 Large、 X-Large) を選択します。
  4. 倉庫の名前を入力します。
  5. Create をクリックしてください。

アクセス許可を割り当てるには、SQL ウェアハウスと同じように、[ 使用できる]、[ 監視可能]、または [ 管理可能 ] をユーザーとグループに付与します。

Note

現在、既存の SQL ウェアハウスを Lakehouse//RT にアップグレードしたり、既存の Lakehouse//RT ウェアハウスを別の種類のウェアハウスにダウングレードしたりすることはできません。

Lakehouse//RT アクティビティを監視する

Lakehouse//RT クエリは、SQL ウェアハウスで実行されるクエリと同じように監視できます。

  • クエリ履歴: Lakehouse//RT クエリは、 クエリ履歴 UI と クエリ履歴システム テーブルに表示されます。
  • クエリ プロファイル: クエリ履歴 UI で Lakehouse//RT クエリを開き、 そのクエリ プロファイルを表示します。
  • [監視] ページ: 各 Lakehouse//RT ウェアハウスの 監視ページ で、クエリのスループット、キューに登録されたクエリ、およびクエリ履歴を監視します。
  • 請求：lakehouse//RT の使用状況は、sku_nameのLakehouse_Serverlessを持つ課金システム テーブルに表示されます。

ベスト プラクティス

Lakehouse//RT から最適な結果を得るには、ワークロードを移動する前に準備します。

  • 最初にサーバーレス SQL で検証します。 サーバーレス SQL ウェアハウスでクエリを実行し、数秒で実行されることを確認します。
  • Unity カタログのマネージド テーブルを使用します。 予測最適化と液体クラスタリングを備えたマネージド テーブルにより、ワークロード パターンに合わせてデータが適切にクラスター化されます。
  • クエリに十分な選択性があることを確認します。 2 秒未満の待機時間の場合は、クエリのスキャン量が少ないことを確認します。 WHERE句を使用して早期にフィルター処理し、必要な列のみを選択し、集計に頼ります。 テーブル間の結合はサポートされていますが、クエリが複雑になったり遅くなったりする場合は、待機時間を短縮するためにデータを事前に集計する具体化されたビューの使用を検討してください。
  • SQL カバレッジを確認する。 Lakehouse//RT では、ANSI 準拠の読み取りクエリのみがサポートされます。 ワークロードが ANSI に準拠 していることを確認し、[ 制限事項] に記載されているサポートされていないステートメント、関数、およびデータ型を回避します。

サポートされている機能

ツールとインターフェイス

次のいずれかのAzure Databricks機能で、コンピューティング ピッカーから Lakehouse//RT を選択できます。

  • SQL エディター
  • SQL ノートブック
  • AI/BI ダッシュボード
  • カタログ エクスプローラー
  • Alerts

テーブルの種類

Lakehouse//RT では、Unity カタログ データのみがクエリされます。 パフォーマンスを最大限に高めるには、Unity カタログのマネージド テーブルを使用します。このテーブルでは、待機時間を短くするために必要なデータ レイアウトがエンジンに提供されます。

Lakehouse//RT では、次のテーブルの種類がサポートされています。

  • マネージド テーブル (Delta Lake テーブルと Apache Iceberg テーブル)
  • 具体化されたビューとストリーミング テーブル
  • 指標ビュー

Connectivity

Lakehouse//RT は 、ステートメント実行 API を使用する接続のみを受け入れます。 従来の Thrift プロトコルはサポートされていないため、ステートメント実行 API を明示的に使用せずに接続するドライバーは、 501 エラーを受け取ります。

Lakehouse//RT ウェアハウスには、次の方法で接続できます。

Pricing

価格については、 Lakehouse Real-Time の価格 に関するページを参照してください。

Limitations

クエリでサポートされていない機能が使用されている場合、Lakehouse//RT は機能の名前付けエラーを返します。 クエリを正常に実行するには、代わりにサーバーレス SQL ウェアハウスを使用します。

ツールと機能

Lakehouse//RT では、次の機能はまだサポートされていません。

  • Genie エージェント
  • ジーニー スペース
  • ジョブ タスク

テーブルの種類

次の表の種類はまだサポートされていません。

  • システム テーブル
  • Delta Sharing テーブル
  • Unity カタログの既定のストレージ内のテーブル
  • Unity カタログの外部テーブル

Lakehouse//RT では、次のテーブルの種類はサポートされていません。

  • Hive メタストア内のテーブル（マネージド テーブルまたは外部テーブル）
  • 外部テーブルとクエリフェデレーション (Lakehouse フェデレーション)
  • 一時テーブル
  • 他のデータ形式 (CSV、JSON、Avro、Parquet、ORC、およびテキスト) を使用するテーブル

ドライバーとコネクタ

Lakehouse//RT では、次のドライバーとコネクタはサポートされていません。

  • ADBC
  • ODBC
  • Go

SQL 言語

Lakehouse//RT では、 ANSI モード でのみ SQL 読み取りクエリが実行されます。

Lakehouse//RT では、次の機能はサポートされていません。

  • データ型:GEOGRAPHYデータ型とGEOMETRYデータ型。
  • 関数：AI 関数、Python UDF、空間 SQL 関数、XPath および XML 関数。
  • ガバナンス： 行レベルのセキュリティと列マスクを含む属性ベースのアクセス制御 (ABAC)。

Lakehouse//RT は読み取り (SELECT) クエリ専用です。 次のような書き込みコマンドと ETL コマンドはサポートされていません。

  • 書き込み操作:INSERT、UPDATE、DELETE、MERGE、およびCREATE TABLE AS SELECT（CTAS）。
  • DDL:CREATE、 ALTER、 DROP、およびオブジェクトを作成または変更するその他のステートメント。
  • セキュリティ ステートメント:GRANT と REVOKE。
  • スクリプト、ストアド プロシージャ、一時テーブル、および複数ステートメント トランザクション。
  • Delta Lake のメンテナンス:OPTIMIZE、 ANALYZE、 VACUUM、および REFRESH。

ネットワークのセキュリティ

Lakehouse//RT では、次のネットワーク構成はまだサポートされていません。

Compliance

コンプライアンス セキュリティ プロファイル は現在サポートされていません。

既知の問題

  • Lakehouse//RT では、他の SQL ウェアハウス型とは異なる暗黙的な型強制およびキャスト規則が適用されます。 文字列と数値の比較、文字列値に対する算術演算の実行、互換性のない型間での COALESCE の使用など、暗黙的な型変換に依存するクエリは、異なる結果の型または値を返したり、失敗したりする可能性があります。 予測可能な結果を取得するには、明示的な CAST 式を使用します。
  • Last updated on