是否可以安排Dataprep相同的作业以根据时间处理不同的数据源？

Question

我有一些来自不同国家的数据源，由于时区不同，这些数据源在不同的时间加载到某些GCP存储桶中。 所有源都具有相同的架构，因此可以将它们视为相同的作业。

我真的很想保留一份独特的工作，以便集中修正和更改配方。

是否可以安排数据准备作业，以便根据时间使用不同的时间源（也许使用可变参数）？

例如，安排相同的工作在下午12点只接受来自英国的消息，早上8点只接受来自美国的消息，而下午4点只接受来自新西兰的消息？

Answer 1

目前无法为同一输出创建多个计划。

但是，您可以从配方中创建参考数据集，并将其添加到多个流中。

您首先需要创建参考数据集：

然后可以将该参考数据集插入多个流中。每个流可以具有自己的时间表，输出设置或变量，但是逻辑可以重用。