当文件夹的大小达到某个阈值时，是否可以通过oozie触发火花作业？

Question

例如，如果文件夹达到100 MB，则应触发spark作业。 我在oozie中读到了dirSize hdfs el函数，但我不知道如何使用它。它是在文件夹达到100 MB时触发作业，还是必须定期检查，比方说，每2分钟检查一次？

Answer 1

1选项是定期运行oozie协调器（比如说每2分钟）来检查文件大小，如果达到指定的限制就可以触发spark作业。