我有一个Spark Streaming应用程序,该应用程序从Kafka主题获取他的输入,进行一些计算,然后将其结果发送到另一个Kafka主题。
让我们说,在他的计算过程中,我的Spark App会在累加器中维护一些统计信息。
从前端,我想在用户要求时向我的Spark Streaming应用程序“发送命令”以检索累加器的内容。
我的第一个想法是,我的前端将连接到我的Kafka集群,将请求发布到特定主题中,该主题将由我的Spark应用程序侦听,然后我的Spark应用程序将在另一个主题中响应结果。
对于不那么多的东西,此解决方案看起来非常复杂。有没有更好的方法来请求运行的Spark Streaming Application获取数据?