考虑我使用我的火花流应用程序与FLUME的连接。我正在使用x节点的集群。文档说:
“启动Flume + Spark Streaming应用程序后,其中一个Spark工作人员必须在该计算机上运行。
Flume可以配置为将数据推送到该机器上的端口。“
我明白我的火花流工作必须从一个可能的工作人员启动(所有节点都是工作人员,但我不使用所有这些工作),而且我还配置了水槽来将数据推送到也是主机名/端口我的流媒体工作的可能工作者。虽然没有防火墙,但我没有使用其他任何东西等等,我仍然得到拒绝这个主机名/端口的连接。我确信我理解错了。任何人都有任何想法?
PS1:我正在使用Spark 1.2.0 PS2:我的代码在本地测试并按预期运行 PS3:可能我已经理解了错误,因为我对整个hadoop / spark事物都很陌生。
提前致谢!