设置:流分析作业 - 我们在天蓝色blob存储中使用csv格式的流数据,在azure blob存储中使用参考数据。查询是简单的传递查询,并在参考数据上使用左连接(因此,如果引用与流数据不匹配仍应输出)
作业中流数据的输入路径为
数据/ 2016/06/08/17 / file1.csv
基于模式 - 数据/ {日期} / {时间} - 即数据/ YYYY / MM / dd / HH /
该文件的最后修改日期是2016-06-08 16:30:00 - 我们上传文件的时间
作业中参考数据的输入路径为
参考/ 2016/06/08/17/00 / ref1.csv
基于模式 - 参考/ {date} / {time} /ref1.csv 即参考/ YYYY / MM / dd / HH / mm / ref1.csv
该文件的最后修改日期是2016-06-08 16:30:00 - 我们上传文件的时间
所有文件都已到位 - 当我们以自定义开始时间为2016-06-08 17:00:00开始作业时。
注意:执行此作业时的当前时间戳是2016-06-08 19:00:00所以我们会及时回溯处理数据。
导致这种行为的原因是什么? 为什么我们不能回到过去,开始工作,看不到任何产出?基本上我们想要停止工作 - 回到过去并重播当时的一切。
参考文件时间戳有什么问题?
我还包括两个文件的最后修改日期时间,想知道它是否在此行为中扮演任何角色。
我们缺少什么?
感谢。