spark-shell错误YarnScheduler：丢失执行者

Question

在spark-shell内部，我在评论提交之间不断收到以下错误消息。这些可能是什么？

阶＆GT; 16/04/12 12:49:14错误YarnScheduler：XXXXXXXX上失去执行者2：远程Rpc客户端解除关联 16/04/12 12:49:14错误YarnScheduler：XXXXXXXX上失去执行者5：远程Rpc客户端解除关联 16/04/12 12:49:16错误YarnScheduler：XXXXXXXX上失去执行者4：远程Rpc客户端解除关联

Answer 1

如果配置了动态资源分配，则在将不需要的资源发布到Yarn时会显示这些错误。 ERROR级别对我来说似乎有误导性，也许INFO会更合适。 http://spark.apache.org/docs/latest/job-scheduling.html#dynamic-resource-allocation

编辑：这应该在Spark 1.6 https://issues.apache.org/jira/browse/SPARK-4134

中修复