通过Web界面运行Hadoop作业

Question

有没有办法通过Web界面运行Hadoop作业？例如使用按钮为Hadoop作业执行命令。 我想为我的Hadoop项目实现一个Web界面。

谢谢！

Answer 1

Cloudera非常有用，专为此目的而设计。

http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/4.2.2/Hue-2-User-Guide/hue26.html

Answer 2

尝试以下选项：

选项-1

1. 使用Web服务创建一个java Web项目，并将所有UI输入添加到此客户端服务器。
2. 创建另一个Web项目作为远程服务器，并接收作业的所有上述输入并将其传递给作业。

远程服务器Web项目应始终在群集中启动并运行，并捕获客户端信号。

在服务器端使用JSCH，并在从UI传递所有hadoop命令时调用。

OR

选项 - 2

您可以使用MySql数据库并存储UI中的所有作业参数。然后用JSCH编写一个简单的java代码，通过轮询DB来运行这些hadoop命令。一个可以运行的可运行的jar。

希望以上2个想法对你有所帮助。