修改Spark源代码后如何编写独立的spark应用程序

Question

我已下载Spark 1.3.1源代码并将其导入IDEA。然后我修改其源代码以扩展其功能。

在这种情况下，我怎么能写独立的火花应用程序？我更改了spark-sql模块，如果我的应用想要使用我的新扩展，我认为以下依赖：

libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.3.0"

无法满足我的需求，因为它仍然使用原始依赖项

P.S。我已经运行mvn build来构建修改后的代码。

那么，如何使用修改后的代码编写独立的spark应用程序？

Answer 1

1. 将自定义的Spark Jar安装到本地mvn存储库

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package install

1. 将jar的版本更改为指向本地版本

resolvers += Resolver.mavenLocal

libraryDependencies += "org.apache.spark" %% "spark-sql" % source-code-version

source-code-version就是你在spark的pom.xml <version>

中所拥有的