Spark Scala如何执行

Question

我编写了以下代码，该代码返回＆＃34;未找到的类＆＃34;例外。我不确定将数据从csv文件加载到SparkSQL需要做什么。

import org.apache.spark.SparkContext

/**

 * Loading sales csv using DataFrame API

 */

object CsvDataInput {

  def main(args: Array[String]) {    

    val sc = new SparkContext(args(0), "Csv loading example")

    val sqlContext = new org.apache.spark.sql.SQLContext(sc)

    val df = sqlContext.load("com.databricks.spark.csv", Map("path" -> args(1),"header"->"true"))

    df.printSchema()

    df.registerTempTable("data")

    val aggDF = sqlContext.sql("select * from data")

    println(aggDF.collectAsList())

  } 
}

Answer 1

尝试替换此行

import org.apache.spark.SparkContext

用这个

import org.apache.spark.*

您只导入库的一部分，但使用此部分之外的类。此外，您的导入实际拼写错误 - 它应该显示org.apache.spark.sql.SQLContext，并且您使用了其他一些包，与所提供的代码无关。