Question

我们按照配置的间隔从EDS获取Feed。例如：如果每8小时配置一次推送。对于Employee表，然后ADL中的文件夹结构如下所示：

Employee
  20171116
      Employee_20171116_00:00
      Employee_20171116_08:00
      Employee_20171116_16:00
  20171117
      Employee_20171117_00:00
      Employee_20171117_08:00
      Employee_20171117_16:00

等等......

在初始完全推送之后，这些文件将具有增量记录（文件中将有指示符来区分完全拉动与增量模式）我正在使用水印方法逐步提取这些增量文件;所以我将存储最后处理文件的日期和时间戳。在下次运行期间，我需要选择上次运行后存储的文件。因此，我需要按升序查询所有文件名，并查找可用的相应客户端API。

先谢谢!!

Answer 1

根据您的处理要求，您可以使用

U形SQL。在这种情况下，请查看文件集。
适用于Azure Data Lake Store的.NET SDK：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-net-sdk

.Net API用于查询ADL Store中的文件夹和文件

1 个答案: