Opções de formato de dados

O Azure Databricks tem ligações de palavras-chave incorporadas para todos os formatos de dados suportados nativamente pelo Apache Spark. O Azure Databricks usa o Delta Lake como o protocolo padrão para ler e gravar dados e tabelas, enquanto o Apache Spark usa o Parquet.

Estes artigos fornecem uma visão geral de muitas das opções e configurações disponíveis quando você consulta dados no Azure Databricks.

Os seguintes formatos de dados têm configurações de palavra-chave incorporadas no Apache Spark DataFrames e SQL:

• Lago Delta
• Iceberg
• OpenSharing
• Parquet
• ORC
• JSON
• CSV
• Avro
• Texto
• Binário
• XML

O Azure Databricks também fornece uma palavra-chave personalizada para carregar experimentos MLflow.

Formatos de dados com considerações especiais

Alguns formatos de dados requerem configuração adicional ou considerações especiais para uso:

• O Databricks recomenda o carregamento de imagens como binary dados.
• A maioria dos formatos suporta compressão de escrita através desta compression opção. Consulte a secção de compressão na documentação de cada formato para detalhes de configuração. O Azure Databricks também pode ler diretamente ficheiros pré-comprimidos em muitos formatos, e pode descompactar ficheiros comprimidos no Azure Databricks, se necessário.
  • Baseados em texto (CSV, JSON, XML, texto): none (por defeito), bzip2, gzip, lz4, snappy, deflate e zstd
  • Parquet: snappy (padrão), gzip, lzo, brotli, lz4, e zstd
  • ORC: snappy, zlib, e lzo
  • Avro: snappy (por defeito), deflate, bzip2, xz, e zstandard

Para obter mais informações sobre origens de dados do Apache Spark, veja Funções Genéricas de Carregar/Guardar e Opções Genéricas de Origem de Ficheiro.