Question

我已经设置了一个带有2名工作人员的hadoop集群。 Spark已安装并可与纱线配合使用。我开始

$ pyspark 要么 $ sparkR

并且api正常启动并且实际上可以执行计算但是在约1分钟之后失去它的工作人员。我完全按照这个（https://cloud.google.com/solutions/monte-carlo-methods-with-hadoop-spark）按照说明进行操作。启动sparkR或pyspark一分钟后，我收到此错误

16/01/20 16:56:35 ERROR org.apache.spark.scheduler.cluster.YarnScheduler: Lost executor 2 on hadoopcluster-w-1
.c.hadoop-1196.internal: remote Rpc client disassociated
16/01/20 16:56:38 ERROR org.apache.spark.scheduler.cluster.YarnScheduler: Lost executor 1 on hadoopcluster-w-0.c
.hadoop-1196.internal: remote Rpc client disassociated

我已经搜遍了所有的解决方案。我见过很多人说增加spark.yarn.executorMemory但是没有用。我重新创建了一个全新的项目来复制并得到同样的问题。知识渊博的人是否可以按照上面发布的教程创建一个集群并运行脚本并建议修复？谢谢！

Answer 1

感谢您的回复。事实证明，由于动态分配的已知Spark问题，这只是一个无害的logspam＆＃34;。见：

＆＃34; https://issues.apache.org/jira/browse/SPARK-4134＆＃34; 和＆＃34; Google Dataproc - disconnect with executors often＆＃34;

Answer 2

如果正在运行

(sc.parallelize(1 to 4, 2)
    .map(i => playSession(100000, 100, 250000))
    .map(i => if (i == 0) 1 else 0)
    .reduce(_+_)/4.)

不会给您任何错误，这意味着您的问题是由内存引起的（并且您将无法通过更改群集的设置来修复它）

Spark失去了工人

2 个答案: