Spark，CLI和使用SBT构建

Question

我想基于Apache Spark SQL构建一个简单的数据库。为此，我创建了一个Apache Spark SQL项目，并编写了一些编写的Scala类来进行一些计算。我想用CLI（和/或JDBC）接口运行Spark，并能够访问我编写的函数。

我使用SBT（在IntelliJ中）构建并运行。如果我理解正确，那么CLI的发展是必要的。因此，我已添加到我的SBT构建文件

scalacOptions ++= Seq("-Pyarn", "-Phadoop-2.3", "-Phive", "-Phive-thriftserver")

然而，我得到一个错误的选项错误。如何编译和组装项目，如何继续运行CLI？

Answer 1

首先，您可能会发现在运行时分叉JVM很有用。如果是这样，请添加此设置：

fork in run := true

无论哪种方式，要在运行时将选项传递给JVM，请使用它，例如：

javaOptions in run ++= Seq("-Xmx8G", ...)

请注意，scalacOptions仅影响编译。

-P...选项的目的是什么？我不熟悉他们。请注意，如果它们应该传递给shell脚本，则不会发生这种情况，因为您正在直接调用JVM。