是否可以通过Azure管道将选择性数据从文件加载到ADW

时间:2018-05-23 10:43:03

标签: azure azure-storage azure-storage-blobs azure-sqldw

我想知道我们是否能够通过Azure管道将选择性数据从文件加载到ADW。

我每天都会获得完整的文件,我必须将数据加载到ADW中。但我只需要加载文件中最后2天的数据。该文件将具有表示数据的日期。

我已经阅读了管道文档,无法找到直接从文件中过滤数据的方法。

有人可以建议是否有可能吗?

由于

1 个答案:

答案 0 :(得分:1)

如果数据文件是blob存储或数据湖存储中的csv文件或类似文件,则可以在ADW中创建映射数据文件的外部表。然后,您可以使用select查询从外部表加载数据时检索过去2天的数据。

/马格努斯