我有两个应用程序:App1和App2。 在一个集群上,我必须生成5个实例os App1和1个App2实例。
将数据从5个App1实例发送到单个App2实例的最佳方式是什么?
现在我正在使用Kafka将数据从一个spark应用程序发送到spark应用程序,但设置似乎不对,我希望有更好的方法来做到这一点。
答案 0 :(得分:1)
Apache Ignite可能对您有用。
Apache Ignite提供了Spark RDD抽象的实现 它允许在多个Spark中轻松共享内存中的状态 工作,在同一个应用程序内或不同的Spark之间 应用