我有一个Azure Table存储,每天都会添加一些记录(通常是3-5个)。有时候无法添加任何记录,因此数量非常少。这是带有预定义的PartitionKey,RowKey和Timestamp列的表的结构:
我需要从Azure数据工厂查询此表以获取前一天的记录。因此,对于下面显示的示例数据,我可能正在查询2019-04-26的2019-04-25数据。原因是,一天的陈旧不会产生任何影响,这样,我就不必担心“水印”等问题。我只需查询前一天的数据并将其复制到Azure数据中的同一Azure表中Lake Storage Gen 2。
我知道我需要根据前一天的“时间戳”列指定一个参数化查询,但是不知道如何指定它。
请告知。
答案 0 :(得分:0)
您可以在复制活动表存储源中设置查询sql。根据您的需要,它应类似于:
time gt datetime'2019-04-25T00:00:00' and time le datetime'2019-04-2T00:00:00'
我的示例数据如下:
预览数据如下:
请参见此文档中的一些示例:https://docs.microsoft.com/en-us/azure/data-factory/connector-azure-table-storage#azuretablesourcequery-examples。