foreach_batch_sink

@dp.foreach_batch_sink() デコレーターは、カスタム ロジックを使用してPythonで処理する一連のマイクロ バッチとしてストリームを処理する ForEachBatch シンクを定義します。 変換されたデータを書き込む追加フローでシンクをtargetとして参照します。 概念ガイダンス、考慮事項、および例については、「 ForEachBatch を使用してパイプライン内の任意のデータ シンクに書き込む」を参照してください。

Syntax

from pyspark import pipelines as dp

@dp.foreach_batch_sink(name="<name>")
def batch_handler(df, batch_id):
    """
    Required:
      - `df`: a Spark DataFrame representing the rows of this micro-batch.
      - `batch_id`: unique integer ID for each micro-batch in the query.
    """
    # Your custom write or transformation logic here
    # Example:
    # df.write.format("some-target-system").save("...")
    #
    # To access the sparkSession inside the batch handler, use df.sparkSession.

Parameters