我有一个要在其上运行Spark作业的Mesos群集。
我已经下载了spark预编译包,并且可以通过简单地解压缩存档来使用spark-shell。
到目前为止,我还没有设法在Mesos群集上运行spark作业。
第一个问题:我需要从源代码安装和构建Spark使其在Mesos上运行吗?这个预编译的软件包是否仅用于Yarn和Hadoop上的Spark?
第二个问题:任何人都可以提供建立火花的最佳方法。我发现了很多类似的方法:
# Uncomment the next line to define a global platform for your project
platform :ios, '9.0'
target 'Projectname' do
# Uncomment the next line if you're using Swift or would like to use dynamic frameworks
use_frameworks!
# Pods for Projectname
pod 'GoogleAnalytics'
target 'ProjectnameTests' do
inherit! :search_paths
# Pods for testing
end
target 'ProjectnameTests' do
inherit! :search_paths
# Pods for testing
end
end
sbt clean assembly
./build/mvn -Pmesos -DskipTests clean package
我不知道使用哪个,以及它们是否正确。