使用Python熊猫读取Azure ADLS中的分区拼花地板

时间:2019-07-09 13:54:46

标签: python pandas azure parquet

我正在尝试读取作为镶木地板存储在我的Azure ADLS存储中的数据。

将单个文件读入Pandas数据帧很简单:

token = lib.auth(tenant_id = tenantId, client_secret = clientKey, client_id = clientId)
adlsFileSystemClient = core.AzureDLFileSystem(token, store_name=adls)
with adlsFileSystemClient.open("/path/to/file.parquet", 'rb') as f:
    df = pd.read_parquet(f)

但是当我尝试读取分区实木复合地板时:

with adlsFileSystemClient.open("/path/to/dir/2019/1/12/*.parquet", 'rb') as f:
        df = pd.read_parquet(f)

我有此错误: azure.datalake.store.exceptions.FileNotFoundError:/ path / to / dir / 2019/1/12 / *。parquet

0 个答案:

没有答案