apache spark流媒体中的应用程序间通信

时间:2016-04-18 19:07:42

标签: apache-spark spark-streaming

我有两个应用程序:App1和App2。 在一个集群上,我必须生成5个实例os App1和1个App2实例。

将数据从5个App1实例发送到单个App2实例的最佳方式是什么?

现在我正在使用Kafka将数据从一个spark应用程序发送到spark应用程序,但设置似乎不对,我希望有更好的方法来做到这一点。

1 个答案:

答案 0 :(得分:1)

Apache Ignite可能对您有用。

  

Apache Ignite提供了Spark RDD抽象的实现   它允许在多个Spark中轻松共享内存中的状态   工作,在同一个应用程序内或不同的Spark之间   应用