Question

我遇到Apache Spark（Graphx）内存不足的问题。应用程序运行，但一段时间后关闭。我使用Spark 1.2.0。群集有足够的内存和多个内核。我没有使用GraphX的其他应用程序，运行没有问题。申请使用Pregel。

我以Hadoop YARN模式提交申请：

HADOOP_CONF_DIR = / etc / hadoop / conf spark-submit --class DPFile --deploy-mode cluster --master yarn --num-executors 4 --driver-memory 10g --executor-memory 6g --executor-核心8 - 文件log4j.properties spark_routing_2.10-1.0.jar road_cr_big2 1000

Spark配置：

var intvalue = (int)test[1];
8207

感谢您的回答。

日志：

val conf = new SparkConf(true)
    .set("spark.eventLog.overwrite", "true")
    .set("spark.driver.extraJavaOptions", "-Dlog4j.configuration=log4j.properties")
    .set("spark.yarn.applicationMaster.waitTries", "60")
    .set("yarn.log-aggregation-enable","true")
    .set("spark.akka.frameSize", "500") 
    .set("spark.akka.askTimeout", "600") 
    .set("spark.core.connection.ack.wait.timeout", "600")
    .set("spark.akka.timeout","1000")
    .set("spark.akka.heartbeat.pauses","60000")
    .set("spark.akka.failure-detector.threshold","3000.0")
    .set("spark.akka.heartbeat.interval","10000")
    .set("spark.ui.retainedStages","100")
    .set("spark.ui.retainedJobs","100")
    .set("spark.driver.maxResultSize","4G")

Spark GraphX内存错误SparkListenerBus（java.lang.OutOfMemoryError：Java堆空间）

0 个答案: