风暴和火花

时间:2015-04-30 17:06:05

标签: apache-spark apache-storm

我想检查并查看从风暴螺栓调用Spark代码是否是一个好主意。我们在Storm中有一个基于流的系统。因此,根据我们希望ML的消息,我们正在考虑使用Spark。所以想检查这样做是否是个好主意。我们可能遇到的任何运行时问题?

由于 AP

2 个答案:

答案 0 :(得分:0)

如果你已经有一个使用Storm的系统,那你为什么要使用Spark?

恕我直言,Spark和Storm都是不同的野兽,你可能希望在相同或不同的用例中并行运行它们,但不要彼此紧密集成。

答案 1 :(得分:0)

你的意思是每条消息ML?单个消息上的ML没有多大意义。你的意思是流上的ML吗?当然你可以用Spark做到这一点,但是你需要使用Spark Streaming(你有两个流式架构......)或者将数据保存在某个地方并用Spark进行批量ML。

为什么不使用trident-ml