我通常使用包含以下内容的.sbt文件sbt package进行编译。
libraryDependencies += "org.apache.spark" %% "spark-core" % "2.1.0"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.1.0"
我对要测试的Spark源做了一些更改，因此上面不再有效，因为它没有看到更改。如何使用我的本地版本的Spark进行编译？
答案 0 :(得分：2)
我对Spark源进行了一些更改
如何使用本地版本的Spark进行编译？
您必须构建本地修改的Spark版本并使用该版本。
假设您下载了Spark 2.1.0的源代码，您应该按照Building Spark中的描述构建它们。
我用来从源代码构建Spark的命令如下：
./build/mvn -Phadoop-2.7,yarn,mesos,hive,hive-thriftserver -DskipTests clean install
在构建Spark之后，您在build.sbt中更改了 nothing ，但是您必须使用Spark的spark-submit您的Spark应用程序（它将分发适当的jar用于执行）