为什么我的Datastax火花会耗尽内存?

时间:2016-03-11 02:31:59

标签: apache-spark pyspark spark-streaming datastax datastax-enterprise

我的内存是32GB,但是在1-2天后我每次内存不足。我目前有大约5,200,000行。我有大约51GB,这是很多。我的RF是3.我有一个包含4个节点的集群:3个Spark和1个Solr。 1个节点有64GB,另外2个有32GB。我不知道如何解决这个问题。谢谢你的回复。

这是我用来运行应用程序的命令:

screen -dmS spark dse spark-submit --master spark://localhost:7077 --executor-memory 2G --driver-memory 1G --total-executor-cores 6 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 --jars /root/spark-streaming-kafka_2.10-1.4.1.jar  /root/pythonspark/com/spark/application.py appcationname source

0 个答案:

没有答案