运行scala程序的参数

Question

您好我是Scala和Spark的新手。请知道如何从scala命令行运行此程序     https://gist.github.com/MLnick/5286475

Answer 1

我的2美分。这就是我如何使用它，但可能有更好的方法来实现它：

<强> 1。用以下两行替换了您的导入标题： import org.apache.spark.{SparkContext, SparkConf} import org.apache.spark.SparkContext._

<强> 2。创建一个基本的build.sbt文件：

name：=“Movie Similarities”

版本：=“1.0”

scalaVersion：=“2.10.4”

libraryDependencies + =“org.apache.spark”%%“spark-core”％“1.0.1”％“提供”

libraryDependencies + =“org.apache.spark”%%“spark-sql”％“1.0.1”％“提供”

libraryDependencies + =“org.apache.spark”%%“spark-streaming”％“1.0.1”％“提供”

解析器+ =“Akka Repository”位于“http://repo.akka.io/releases/”

第3。建立它：

sbt package

<强> 4。运行它（确保你的路径上有spark-submit）：

spark-submit --class“MovieSimilarities” - master local [4] target / scala-2.10 / movie-similarities_2.10-1.0.jar local

<强> 5。收集输出（对于MovieLens 100k）：

星球大战（1977）|父亲节（1997年）| -0.6625 | -0.4417 | 0.9074 | 0.0397

星球大战（1977）| Jason's Lyric（1994）| -0.9661 | -0.3978 | 0.8110 | 0.0141

星球大战（1977）|闪电杰克（1994）| -0.7906 | -0.3953 | 0.9361 | 0.0202

星球大战（1977）|标记为死亡（1990）| -0.5922 | -0.3807 | 0.8729 | 0.0361

星球大战（1977）|混合坚果（1994）| -0.6219 | -0.3731 | 0.8806 | 0.0303

星球大战（1977）| Poison Ivy II（1995）| -0.7443 | -0.3722 | 0.7169 | 0.0201

星球大战（1977）|在感官境界（Ai no corrida）（1976）| -0.8090 | -0.3596 | 0.8108 | 0.0162

星球大战（1977）|发生了什么......（1994）| -0.9045 | -0.3392 | 0.8781 | 0.0121

星球大战（1977）|女性变态（1996）| -0.8039 | -0.3310 | 0.8670 | 0.0141

星球大战（1977）| Celtic Pride（1996）| -0.6062 | -0.3175 | 0.8998 | 0.0220

Answer 2

根据您的环境，可以通过多种方式在gist中运行程序。

1. Spark local
2. Spark Cluster（独立，YARN，Mesos）
3. Spark REPL

以上各项的先决条件是拥有必要的Spark库。如果从REPL运行它，那么库已经在您的类路径中。我个人会建议这样做，因为那样你将执行程序的每一步，看看每一步的输出是什么。

如果要将其部署为独立程序，则需要先设置sbt并为代码创建相应的build.sbt和项目结构。您可以按照此处的说明创建独立程序。 http://spark.apache.org/docs/latest/quick-start.html#standalone-applications