在不将文件移动到Azure Databricks文件系统中的情况下，最简单，最好的方法是在Azure数据湖Gen1中解压缩文件吗？

Question

在不将文件移动到Azure Databricks文件系统的情况下，在Azure数据湖Gen1中解压缩文件的最佳方法是什么？当前，我们使用Azure数据块进行计算，并使用ADLS进行存储。我们有将数据移入DBFS的限制。

已经在DBFS中安装了ADLS，不确定如何继续

Answer 1

不幸的是，在Databricks中不支持zip文件，原因是Hadoop不支持将zip文件作为压缩编解码器。只要GZip，BZip2和其他受支持的压缩格式的文本文件可以配置为在Spark中自动解压缩，只要它具有正确的文件扩展名，您就必须执行其他步骤来读取zip文件。 Databricks documentation中的示例使用操作系统级别（Ubuntu）上的解压缩在驱动程序节点上解压缩。

如果您的数据源无法在Spark支持的压缩编解码器中提供数据，则最好的方法是使用Azure Data Factory复制活动。 Azure数据工厂支持更多压缩编解码器，还支持zip。

源的类型属性定义如下：

"typeProperties": {
        "compression": {
            "type": "ZipDeflate",
            "level": "Optimal"
        },

您还可以使用Azure数据工厂通过Databricks活动来协调Databricks管道。