有没有办法通过web ui提交spark工作？

Question

我从flink切换到spark，我错过了通过Web UI提交作业的选项。

到目前为止，我已经按命令行提交了所有火花作业。

有没有办法通过spark网络界面提交工作？

Answer 1

  

有没有办法通过spark网络界面提交工作？

没有

我会通过命令行提交我的工作，然后通过Spark Web界面监控它。当然，除非您使用oozie。

Answer 2

是的，有一种方法可以通过Web应用程序触发Spark作业。

  

我试了这么久，我没有准确的文件记录   现在。

     

我会尽量解释我记得的步骤，你可以给一个   镜头

您可以使用oozie执行相同的操作

1. 创建火花作业并压缩成一个胖罐并将其放入hdfs

2. 创建shell脚本以提交此spark作业并将此文件放入hdfs

3. 创建特定于oozie的job.properties和workflow.xml

4. 将workflow.xml文件放入hdfs

5. 使用job.properties

提交oozie作业

6. 将您想要触发火花作业的UI应用程序部署到oozie/webapp/ROOT

7. Web应用程序将使用oozie rest服务与正在运行的oozie作业进行交互

8. 现在通过浏览器访问您的Web应用程序，可能基于某些按钮点击，您可以提交火花作业

更新

找到spark-jobserver library，它有助于通过REST接口提交和监控Apache Spark作业。

希望这可以帮助你...

一如既往，如果我的回答对您有帮助，请接受或赞成......：）