这是从命令行启动hadoop作业的唯一方法吗？

Question

我现在以伪分布式模式处理hadoop。 我尝试了一些mapreduce，将其打包为jar，然后将文件复制到hadoop.then使用

./ bin / hadoop jar *

启动它。

我的问题是：是否有其他方式这样做？如果我们有数千个工作要运行。我们不能只输入命令。我们在生产环境中做了什么？< / p>

感谢。

Answer 1

如果您有1000个作业，请编写一个shell脚本并在作业之间没有依赖关系时提交它们。如果存在依赖关系，那么请使用Apache Oozie作为Chris提到的。

Answer 2

可以自动启动MapReduce作业。例如，一个java程序，可以启动一个作业。诀窍是确保将Job导出到jar文件中，并从java代码中调用该导出的jar文件（这是独立的）。我最近有一个类似的问题并张贴了它，也许它也与你有关。

Launch a mapreduce job from eclipse

Answer 3

如果您需要安排要运行的作业，或者想要设计具有相互依赖关系的作业的工作流，那么请查看Apache OOZIE。