为什么我的spark应用程序太慢?

时间:2018-06-30 06:02:11

标签: apache-spark apache-spark-sql

我在StandAlone集群模式下使用spark-2.0.2-bin-hadoop2.6版本,我有一个主节点和两个工作节点。 我为我的应用程序分配了6个执行程序,这些执行程序正在以下节点上运行:-

on MasterNode : 2 executors(with 1gb RAM and 1 core for each executor)
on WorkerNode1 : 2 executors(with 1gb RAM and 1 core for each executor)
on WorkerNode2 : 2 executors(with 1gb RAM and 1 core for each executor)

然后我的应用程序从kafka获取数据,并对传入的数据应用一些逻辑,然后将这些记录作为数据帧写入Cassandra?

请帮助我。 提前致谢 有时启动工作会花费太多时间,并且会不断地从kafka中获取数据,并且分配给执行者的所有内存都会被完全消耗掉。 因此,有什么方法可以加快我的spark应用程序。

0 个答案:

没有答案