Azure Databricks には、Apache Spark でネイティブでサポートされているすべてのデータ形式のキーワード バインドが組み込まれています。 Azure Databricks では、データとテーブルの読み取りと書き込みの既定のプロトコルとして Delta Lake を使用しますが、Apache Spark では Parquet を使用します。
これらの記事では、Azure Databricks でデータを照会するときに使用できる多くのオプションと構成の概要について説明します。
次のデータ形式で、Apache Spark DataFrames と SQL に組み込まれたキーワード構成があります。
Azure Databricks には、MLflow 実験を読み込むためのカスタム キーワードも用意されています。
特別な考慮事項があるデータ形式
一部のデータ形式では、使用するために追加の構成や特別な考慮事項が必要です。
- Databricks では、イメージを
binaryデータとしてを読み込むことをお勧めします。 - ほとんどの形式では、
compressionオプションを使用した書き込み圧縮がサポートされています。 構成の詳細については、各形式のドキュメントの圧縮セクションを参照してください。 Azure Databricksは、多くの形式で事前圧縮されたファイルを直接読み取ることができ、必要に応じてAzure Databricksで圧縮ファイルを解凍することもできます。-
テキストベース (CSV、JSON、XML、テキスト):
none(既定)、bzip2、gzip、lz4、snappy、deflate、およびzstd -
Parquet:
snappy(既定)、gzip、lzo、brotli、lz4、およびzstd -
ORC:
snappy、zlib、およびlzo -
Avro:
snappy(既定)、deflate、bzip2、xz、およびzstandard
-
テキストベース (CSV、JSON、XML、テキスト):
Apache Spark データ ソースの詳細については、汎用読み込み/保存関数と汎用ファイル ソース オプションを参照してください。