UI でパイプラインを監視する

Azure Databricksユーザー インターフェイスで Lakeflow パイプラインを監視して、更新の進行状況の追跡、パイプライン イベントに関するアラート、ストリーミング ソース メトリックの表示を行います。 これらの組み込み機能は、次のようなタスクをサポートします。

• パイプラインの更新の進行状況と状態の監視。 監視ページで使用可能なパイプラインの詳細を参照してください。
• パイプラインの更新の成功または失敗などのパイプライン イベントに関するアラート。 パイプライン イベント の電子メール通知の追加を参照してください。
• Apache Kafka や自動ローダー (パブリック プレビュー) などのストリーミング ソースのメトリックの表示。 を参照して、のストリーミングメトリクスを表示してください。

パイプライン イベントに対するメール通知を追加する

次の場合に通知を受信するように 1 つ以上のメール アドレスを構成できます:

• パイプラインの更新が正常に完了しました。
• パイプラインの更新は、再試行可能なエラーまたは再試行不可能なエラーで失敗します。 すべてのパイプラインエラーの通知を受け取る場合は、このオプションを選択します。
• パイプラインの更新は、再試行できない (致命的な) エラーで失敗します。 再試行できないエラーが発生した場合にのみ通知を受け取る場合は、このオプションを選択します。
• 1 つのデータ フローが失敗します。

電子メール通知を構成するには、パイプラインの設定を編集します。 「 通知」を参照してください。

UI でパイプラインを表示する

からパイプラインを見つけます。ワークスペース サイドバーの [ジョブとパイプライン] オプション。 [ ジョブとパイプライン] ページが開き、アクセスできる各ジョブとパイプラインに関する情報を表示できます。 パイプラインの名前をクリックして、パイプライン監視ページを開きます。 ジョブまたはパイプラインを編集するには、 をクリックします。メニューをクリックし、[ 編集] を選択します。

[ジョブとパイプライン] リストを使用する

アクセスできるパイプラインの一覧を表示するには、[ワークフロー] アイコンをクリックサイドバーのジョブとパイプライン。 [ ジョブとパイプライン ] タブには、作成者、トリガー (存在する場合)、最後の 5 回の実行の結果など、使用可能なすべてのジョブとパイプラインに関する情報が一覧表示されます。

パイプラインまたはジョブの名前をクリックすると、そのパイプラインまたはジョブの監視ページに移動します。 パイプラインまたはジョブを編集するには、 をクリックし、[ 編集] を選択します。

リストに表示される列を変更するには、[ をクリックし、列を選択または選択解除します。 たとえば、 Pipeline Type を列として追加するには、その列を選択して表示します。

次のスクリーンショットに示すように、 ジョブとパイプラインの 一覧でジョブをフィルター処理できます。

1. テキスト検索: [名前 ] フィールドと [ ID ] フィールドでキーワード検索がサポートされています。 キーと値で作成されたタグを検索するには、キー、値、またはキーと値の両方で検索できます。 たとえば、キー department と値 finance を持つタグの場合、department または finance を検索して一致するジョブを見つけることができます。 キーと値で検索するには、キーと値をコロンで区切って入力します (例: department:finance)。
2. 種類: ジョブ、 パイプライン、または すべてでフィルター処理します。 [パイプライン] を選択した場合は、ETL パイプラインとインジェスト パイプラインを含むパイプラインの種類でフィルター処理することもできます。
3. 所有者: 所有しているジョブのみを表示します。
4. お気に入り: あなたが「お気に入り」としてマークしたジョブを表示します。
5. タグ: タグを使用します。 タグで検索するには、[タグ] ドロップダウン メニューを使用して、最大 5 つのタグを同時にフィルター処理するか、キーワード検索を直接使用します。
6. 実行方法: 最大 2 つの run as 値でフィルター処理します。

ジョブまたはパイプラインを開始するには、の再生ボタンをクリックします。 ジョブまたはパイプラインを停止するには、[ ] ボタンをクリックします。 その他のアクションにアクセスするには、Kebab メニューの をクリックします。 たとえば、ジョブまたはパイプラインを編集または削除したり、そのメニューからパイプラインの設定にアクセスしたりできます。

監視ページで使用できるパイプラインの詳細

ジョブ & パイプラインページでパイプラインの名前をクリックすると、そのパイプラインの監視ページが表示されます。 ここからパイプラインの実行を開始し、前の実行の詳細を表示できます。

パイプライン グラフ (有向非循環グラフ (DAG) とも呼ばれます) は、パイプラインの更新が正常に開始されるとすぐに表示されます。 矢印は、パイプライン内のデータセット間の依存関係を表します。 既定では、パイプライン監視ページにテーブルの最新の更新プログラムが表示されますが、ドロップダウン メニューから古い更新プログラムを選択できます。

右側のウィンドウには、パイプライン ID、コンピューティング コスト、製品エディション、チャネルなど、パイプラインの詳細が上部に表示されます。 更新プログラムの詳細は、パイプラインの詳細の下に表示されます。 パイプラインのソース コードにアクセスするには、ページの上部にある [ パイプラインの編集 ] をクリックします。 特定のテーブルのコードに移動するには、パイプライン グラフのテーブルの上にマウス ポインターを置き、[をクリックします。コードに移動します。

データセットの表形式ビューを表示するには、[ リスト ] タブをクリックします。 リスト ビューを使用すると、パイプライン内のすべてのデータセットをテーブルの行として表すことができます。パイプライン グラフが大きすぎて グラフ ビューで視覚化しない場合に便利です。 データセット名、型、状態などの複数のフィルターを使用して、テーブルに表示されるデータセットを制御できます。 パイプライン グラフに戻すには、[ グラフ] をクリックします。

[実行ユーザー] はパイプラインの所有者であり、パイプラインの更新はこのユーザーのアクセス許可で実行されます。 run as ユーザーを変更するには、[アクセス許可] をクリックしてパイプラインの所有者を変更します。

統合実行一覧プレビューの変更点

統合実行一覧プレビューを有効にしている場合は、[ジョブとパイプライン] ページでパイプラインの実行の更新を確認できます。

統合実行の一覧にアクセスするには、[チェックリスト] アイコンを選択 ワークスペースサイドバーから実行するか、[ワークフロー] アイコンをクリック [ジョブ] と [パイプライン] で、[ 実行 ] タブを選択します。

このタブには、過去 60 日間の最近の実行の一覧が表示されます。 次の場合、過去 48 時間の実行の成功と失敗を示すグラフが最初に表示されます。

• ジョブ または パイプライン のみにフィルター処理されます。
• 管理者である場合、または、実行が Run as: Me のものだけにフィルターしてください。
• 実行がグラフに表示されるまでに最大 1 時間かかる場合があります。

リストとグラフは、次の方法でフィルター処理できます。

• ジョブまたはパイプラインの名前。
• All、 Jobs、または Pipelines。
• パイプラインの種類 (ETL、インジェスト、MV/ST、またはデータベース テーブル同期)。
• ユーザーとして実行します。
• 実行 開始時刻 (過去 48 時間以内)。
• [実行] の状態。
• 失敗した実行の エラー コード 。

上記以外にも、次の列を一覧に表示できます。

• 終了時刻
• 実行 ID
• 実行が手動で起動されたか、スケジュールによって 起動されたか 。
• 実行 継続時間。
• パラメーターを実行します。

実行リストに表示される列を変更するには、[列] をクリックし、列を選択または選択解除します。

パイプライン実行の 開始時刻、 終了時刻、または 名前 をクリックすると、パイプラインの 監視ページ に移動します。

パイプラインがアクティブに実行されている場合は、[停止] アイコンをクリックして実行を できます。停止ボタン。 いつでも、 をクリックすることもできます。実行の行のメニュー ボタンをクリックし、[ パイプラインの編集] を選択してエディターにパイプラインを表示します。

データセットの詳細を表示する

パイプライン グラフまたはデータセット の一覧でデータセットをクリックすると、下部ペインにデータセットに関する情報が表示されます。 右側のウィンドウには、パイプラインと更新の詳細が引き続き表示されます。

• スキーマ: 下部ペインの [ テーブル ] タブでテーブルを選択し、[ 列] を選択します。
• データ品質メトリック: テーブルが選択されている場合、下部ペインで表示できます。
• ソース コード: 特定のテーブルのコードに移動するには、パイプライン グラフ内のテーブルにカーソルを合わせ、[ コード ボタンに移動 します。
• クエリ履歴: 下部のウィンドウで [パフォーマンス ] を選択します。
• テーブル コメント: テーブル コメントは、パイプラインの詳細ページからは使用できません。 テーブルのコメントを表示するには、カタログ エクスプローラーでテーブルを開きます。 テーブルに直接移動するには、パイプライン グラフの上にマウス ポインターを置き、[ をクリックし、[ カタログで表示します。 下部ウィンドウのテーブルの一覧からカタログ エクスプローラーにアクセスするには、[ をクリックします。

更新履歴の表示

パイプラインの更新の履歴と状態を表示するには、上部のバーにある更新履歴のドロップダウン メニューをクリックします。

ドロップダウン メニューで更新プログラムを選択して、更新プログラムのグラフ、詳細、イベントを表示します。 最新の更新プログラムに戻すには、[最新の更新プログラム 表示] をクリックします。

ストリーミング メトリックを表示する

パイプライン内の各ストリーミング フローについて、Apache Kafka、Amazon Kinesis、Auto Loader、Delta テーブルなど、Spark Structured Streaming でサポートされているデータ ソースからのストリーミング メトリックを表示できます。 メトリックはパイプライン UI の右側のウィンドウにグラフとして表示され、バックログの秒、バックログ バイト、バックログ レコード、バックログ ファイルが含まれます。 グラフには、分単位で集計された最大値が表示され、グラフにカーソルを合わせるとヒントに最大値が表示されます。 データは、現在の時刻から過去 48 時間に制限されます。

ストリーミング メトリクスが利用可能なパイプライン内のテーブルには、UI の LDP Chart IconGraph ビューでパイプライン グラフを表示すると、 アイコンが表示されます。 ストリーミングメトリクスを表示するには、右側のペインのタブにあるストリーミングメトリックグラフを表示するために、LDPチャートアイコンをクリックします。 フィルターを適用して、ストリーミング メトリックを含むテーブルのみを表示することもできます。そのためには、[リスト] をクリックし、[ストリーミング メトリックが ] をクリックします。

各ストリーミング ソースでは、特定のメトリックのみがサポートされます。 ストリーミング ソースでサポートされていないメトリックは、UI で表示できません。 次の表は、サポートされているストリーミング ソースで使用できるメトリックを示しています。