Question

我是新手，我有像这样的Spark脚本

import org.apache.spark.SparkContext

 /**

 * Loading sales csv using DataFrame API

 */

  object CsvDataInput {
  def main(args: Array[String]) {


   val sc = new SparkContext(args(0), "Csv loading example")
   val sqlContext = new org.apache.spark.sql.SQLContext(sc) 
   val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

   df.printSchema()
   df.registerTempTable("sales")

   val aggDF = sqlContext.sql("select sum(amt),code from sales where tran='CHG' group by amt,code")

    println(aggDF.collectAsList())  
   }

 }

如何在cloudera中执行该程序我必须使用什么命令

我使用了这个命令

./ bin / spark-shell --class classname --master local“Scriptpath”inputpath

但我没有得到输出。

Answer 1

您可以使用spark-submit。 e.g。

./bin/spark-submit --class classname --master local[*] "Scriptpath" inputpath

Spark Scala脚本执行命令

1 个答案: