我们可以使用预编译的hadoop-spark软件包在mesos上运行spark吗?

时间:2018-12-26 18:20:15

标签: apache-spark hadoop mesos

我有一个要在其上运行Spark作业的Mesos群集。

我已经下载了spark预编译包,并且可以通过简单地解压缩存档来使用spark-shell。

到目前为止,我还没有设法在Mesos群集上运行spark作业。

第一个问题:我需要从源代码安装和构建Spark使其在Mesos上运行吗?这个预编译的软件包是否仅用于Yarn和Hadoop上的Spark?

第二个问题:任何人都可以提供建立火花的最佳方法。我发现了很多类似的方法:

  • # Uncomment the next line to define a global platform for your project platform :ios, '9.0' target 'Projectname' do # Uncomment the next line if you're using Swift or would like to use dynamic frameworks use_frameworks! # Pods for Projectname pod 'GoogleAnalytics' target 'ProjectnameTests' do inherit! :search_paths # Pods for testing end target 'ProjectnameTests' do inherit! :search_paths # Pods for testing end end
  • sbt clean assembly
  • ./build/mvn -Pmesos -DskipTests clean package

我不知道使用哪个,以及它们是否正确。

0 个答案:

没有答案