来自Web应用程序的Spark Machine学习设计模型

Question

我开发了一个Web应用程序，用户可以在其中选择机器学习框架/迭代次数/其他一些调整参数。如何通过传递所有输入并向用户显示响应来从用户界面调用Spark作业。根据框架（dl4j / spark mllib / H2o），用户可以上传输入csv，也可以从Cassandra读取数据。

1. 如何从用户界面调用SPARK作业？
2. 如何将结果显示给用户？

请帮忙。

Answer 1

您可以查看此github repository.

在这个过程中，只要GET请求到达，它就会从Cassandra中取出数据，然后收集数据并将其作为响应返回。

所以在你的情况下：

您可以做的是，只要您收到POST请求，就可以从请求中获取参数并使用这些参数相应地执行操作，并在主服务器上收集结果，然后将其返回给用户作为回应。

P.S：收集Master有点棘手，很多数据都会导致OOM。你可以做的是将结果保存在hadoop上并将URL发送回结果或类似的东西。

欲了解更多信息，请访问与此github相关的博客： https://blog.knoldus.com/2016/10/12/cassandra-with-spark/