我正在尝试以不同的比率将作业发布到livy服务器。当我看到高发布率的作业时,该作业被livy服务器接受,并被分配了一个会话ID,但后来该作业被标记为死,并显示以下错误:
{“ id”:8666,“ state”:“ dead”,“ appId”:null,“ appInfo”:{“ driverLogUrl”:null,“ sparkUiUrl”:null},“ log”:[“发生错误VM初始化期间“,” java.lang.OutOfMemoryError:无法创建新的本机线程“,” java.lang.Exception:火花提交已退出,代码为1}。\ nVM初始化期间发生错误\ njava.lang.OutOfMemoryError :无法创建新的本机线程”,” com.cloudera.livy.utils.SparkYarnApp $$ anonfun $ 1 $$ anonfun $ apply $ mcV $ sp $ 1.apply(SparkYarnApp.scala:238)com.cloudera.livy.utils。 SparkYarnApp $$ anonfun $ 1 $ anonfun $ apply $ mcV $ sp $ 1.apply(SparkYarnApp.scala:235)scala.Option.foreach(Option.scala:236)com.cloudera.livy.utils.SparkYarnApp $$ anonfun $ 1。 apply $ mcV $ sp(SparkYarnApp.scala:235)com.cloudera.livy.Utils $$ anon $ 1.run(Utils.scala:95)“]}
取决于头节点的内存,有没有一种方法可以计算出可以将作业发布到livy而不被标记为死亡的安全速率?