我可以使用dask.dataframe.read_sql_table读取数据,例如df = dd.read_sql_table(table='TABLE', uri=uri, index_col='field', npartitions=N)
将其保存为Azure Blob存储中的拼花文件的下一步(最佳)是什么?
根据我的小型研究,有两种选择:
答案 0 :(得分:1)
$ pip install adlfs
dd.to_parquet(
df=df,
path='absf://{BLOB}/{FILE_NAME}.parquet',
storage_options={'account_name': 'ACCOUNT_NAME',
'account_key': 'ACCOUNT_KEY'},
)