需要解决方案来安排Spark工作

Question

我是Spark的新手。 在我们的项目中，

1. 我们已将七个PLSql脚本转换为Scala-Spark。
2. 现有的PLSql脚本被安排为Talend上的作业。每 脚本是在一个单独的作业上安排的，这七个作业按顺序运行，因为只有在第一个作业成功完成后，第二个作业才会开始，同样一直持续到最后一个作业（第七个）。

我的团队正在探索将Scala-Spark程序安排为其他工作的可能性。其中一个建议是将在Talend上运行的相同作业转换/写入Scala。我不知道是否有可能。 所以，任何人都可以告诉我是否可以在Scala上做同样的事情。

Answer 1

您可以使用tSystem或tSSH组件在Talend中提交您的spark作业。并从提到的组件中获取响应代码（退出代码）。如果退出代码= 0（成功），那么您可以提交下一个火花作业。我们在项目中做了同样的事情。