我的内存是32GB,但是在1-2天后我每次内存不足。我目前有大约5,200,000行。我有大约51GB,这是很多。我的RF是3.我有一个包含4个节点的集群:3个Spark和1个Solr。 1个节点有64GB,另外2个有32GB。我不知道如何解决这个问题。谢谢你的回复。
这是我用来运行应用程序的命令:
screen -dmS spark dse spark-submit --master spark://localhost:7077 --executor-memory 2G --driver-memory 1G --total-executor-cores 6 --packages org.apache.spark:spark-streaming-kafka_2.10:1.4.1 --jars /root/spark-streaming-kafka_2.10-1.4.1.jar /root/pythonspark/com/spark/application.py appcationname source