我遇到与使用我的Scala Spark Streaming应用程序的此线程相同的问题：Why does Spark job fail with "too many open files"?
但鉴于我使用Azure HDInsights来部署我的YARN群集，我认为我不能登录到该计算机并更新所有计算机中的ulimit。
还有其他方法可以解决这个问题吗？我也无法减少减速器的数量，或者我的工作会变慢。
答案 0 :(得分：0)
您可以从头节点ssh到所有节点（ambari ui show fqdn of all nodes）。
ssh sshuser@nameofthecluster.azurehdinsight.net
如果要自动执行此操作，可以编写一个custom action来更改必要节点上的设置。