用于从数据湖.net SDK快速访问(下载)的文件结构的最佳模式

时间:2017-05-16 22:45:08

标签: azure azure-data-lake data-lake

目前我将我的数据存储在4个不同的文件中(处理来自指定日,月,周,年的数据)。文件的日期大小是1440(处理发送的数据每分钟读取,读取的日期也按行存储)这样,如果我需要数据从5月1日到5月3日我只是从周末文件下载数据并过滤下载的记录。

有没有更好的方法来快速访问文件(或只是下载部分文件或从指定文件下载分割的一个文件)。 我只是考虑u-sql执行beforce下载,但是在u-sql结束他的工作之前需要很长时间。

0 个答案:

没有答案
相关问题