标签： apache-spark streaming pyspark-sql
我已经在Ambari上使用两个具有高RAM的VM设置了一个火花簇。此外，我在其他集群（HDInsights）中执行了相同的工作，并优化了执行程序，驱动程序内存，vcore设置。
但是，当我在这个新的VM群集中运行作业时，我正在获取
线程“main”中的异常java.lang.OutOfMemoryError：无法 创建新的本机线程
我更改了ulimit -u和ulimit -n参数并尝试执行作业。它没有帮助。如果有人对解决这些错误有更多的想法，请告诉我。
答案 0 :(得分：0)
通常，您的JVM内存存在问题，通常使用-Xmx属性进行设置。看起来Spark中不允许这样做，您需要使用spark.executor.memory指定堆大小