本地主机上的执行器驱动程序丢失：执行器心跳超时

Question

我正在调试Spark应用程序in local mode。禁用超时以避免在调试会话过程中出现火花崩溃而没有不利影响是否可行？

您建议更改哪些与超时相关的参数以避免各种超时而不会完全导致火花崩溃？

目前，在IntelliJ中调试时遇到了这个问题

  

本地主机上的执行器驱动程序丢失：执行器心跳在以下时间后超时   129006 ms

Answer 1

将这两个添加到混合中：

 val spark = SparkSession.builder()
  .config("spark.network.timeout", "10000001")
  .config("spark.executor.heartbeatInterval", "10000000")