我使用azure数据工厂将blob存储作为外部源(数据表标记为外部)。
我最近恢复了一个未提供数据的数据源,但我注意到它无法识别文件现在位于blob存储区中。文件/文件夹namining约定没有改变。
我的第一个管道的每个切片都标有以下状态:
等待:数据集依赖
我应该怎么看才能调试此问题?有没有办法强制数据工厂重新检查丢失的文件? (假设似乎它会自动执行此操作,但它不会选择文件 - 我也尝试重新标记要处理的切片,但这并没有帮助。)< / p>
答案 0 :(得分:0)
显然,您的外部数据集正在等待下一次执行(进入您定义的窗口切片)。如果您恢复了所需的所有blob,那么您可以在Diagram中转到该管道并单击它,这样就会打开运行列表 Pipeline runs 您可以右键单击其中任何一个,然后在外部数据准备就绪后更改其可用性,然后单击“运行”。
答案 1 :(得分:0)
这是因为外部数据集已失败,在第一次预期到达时(或在数据集定义中定义的后续X次重试时)未检测到文件。
一旦所有重试尝试都用完,文件就不会再次检查,所以如果它在此点之后到达,则管道将不会执行。由于这是在数据集中而不是管道中,因此重新运行管道将不起作用。我知道解决此问题的唯一方法是打开azure门户(不监视和管理)导航到“最近失败的数据集”刀片并点击相应条目的重新运行。