Oozie Sqoop行动

Question

我使用oozie执行了10个sqoop命令。我应该写sqoop动作10次还是可以将sqoop命令放在一个文件中并在sqoop动作中调用它。提前致谢。

Answer 1

  

是否可以将sqoop命令放在一个文件中并在其中调用它   sqoop行动

是的，当然可能。您可以将所有sqoop命令保存在shell文件中并执行shell操作。

但你应该这样做吗？可能不是 。如果这些任务是相互独立的，那么将它们作为shell动作执行就意味着，你没有利用oozie的可扩展/并行功能，所有命令都会一个接一个地执行。

另一方面，如果那些任务相互依赖，如果其中一个命令由于某种原因失败，你将如何控制执行？

如何处理混合情况，其中一些sqoop命令可以并行运行，而其他命令与某些先前命令的结果相互依赖。事情很快变得复杂，对吗？

出于所有这些原因，我认为如果他们彼此独立，将他们隔离为个人行动会更好，如果你需要一次又一次地重复他们，请成为协调员。