Opções de formato de arquivo

O Azure Databricks tem associações de palavra-chave internas para todos os formatos de dados com suporte nativo do Apache Spark. O Azure Databricks usa o Delta Lake como o protocolo padrão para ler e gravar dados e tabelas, enquanto o Apache Spark usa Parquet.

Esses artigos fornecem uma visão geral de muitas das opções e configurações disponíveis ao consultar dados no Azure Databricks.

Os formatos de dados a seguir têm configurações de palavra-chave internas no DataFrames e SQL do Apache Spark:

O Azure Databricks também fornece uma palavra-chave personalizada para carregar experimentos do MLflow.

Formatos de dados com considerações especiais

Alguns formatos de dados requerem configuração adicional ou considerações especiais para uso:

  • O Databricks recomenda o carregamento de imagens como dados binary.
  • A maioria dos formatos dá suporte à compactação de gravação por meio da opção compression . Consulte a seção de compactação na documentação de cada formato para obter detalhes de configuração. Azure Databricks também pode ler diretamente arquivos pré-compactados em muitos formatos e você pode descompactar arquivos compactados em Azure Databricks, se necessário.
    • Baseado em texto (CSV, JSON, XML, texto): none (padrão), bzip2, gzip, , lz4, snappy, deflatee zstd
    • Parquet: snappy (padrão), gzip, lzo, , brotli, lz4e zstd
    • ORC: snappy, zlibe lzo
    • Avro: snappy (padrão), deflate, bzip2, xze zstandard

Para obter mais informações sobre fontes de dados do Apache Spark, confira Funções genéricas para carregar/salvar e Opções de fontes de arquivo genéricas.

  • Last updated on