通过sbt在本地运行spark应用程序

Question

我想在本地运行一个火花作业进行测试。如果使用spark-submit和组装的罐子，它就可以正常工作。

但如果使用sbt run，我会收到一个非常奇怪的错误https://gist.github.com/geoHeil/946dd7706f44f338101c8332f4e13c1a

尝试设置像

这样的java-opts

javaOptions ++= Seq("-Xms512M", "-Xmx2048M", "-XX:MaxPermSize=2048M", "-XX:+CMSClassUnloadingEnabled")

没有帮助解决问题。

尝试在local[*]模式中调整内存设置，例如

.set("spark.executor.memory", "7g")
.set("spark.driver.memory", "7g")

只会产生ExecutorLostFailure

的其他问题

Answer 1

我从未专门讨论过这个问题，但我认为不会使用sbt run运行代码。我甚至还记得在文档中阅读它，但现在还找不到它。

我想你应该做的是用sbt编译它并改用spark-submit。