使用python

Question

我正在尝试解压缩存储在蔚蓝数据湖中的.gz文件。

from azure.datalake.store import core, lib

Tenant_Id = '####'
Client_Key = '####'
Client_Id = '####' 
token = lib.auth(tenant_id=Tenant_Id, client_secret=Client_Key, client_id=Client_Id)

store_name = 'root'
# Connecting to adl
adl = core.AzureDLFileSystem(token, store_name=store_name)
# List of .gz files 
list_of_gz_files = adl.ls('/test/2018')
# Would like to uzip files present inside list_of_gz_files list

是否可以使用gzip等将其解压缩？

Answer 1

在此处提供3个选项以解压缩ADL中的zip文件。

1。使用Azure数据工厂通过copy file activity（对gzip文件的本地支持）解压缩文件。

2。在ADF中使用Custom Activity。批量创建作业，然后访问数据湖以使用python代码解压缩文件。（使用gzip包）

3。在U-SQL中使用自定义提取器，请参考以下跟踪信息：How to preprocess and decompress .gz file on Azure Data Lake store?