Question

从spark-shell

触发命令后，我收到以下错误

scala> val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswa
s7917/src_files/movies_data_srcfile_sess06_01.csv")

<console>:21: error: not found: value spark
       val df1 = spark.read.format("org.apache.spark.csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("/user/mailtosudiptabiswas7917/src_files/movies_data_srcfile_sess06_01.csv")

我需要import某事explicitly。

请帮助完整的命令集

感谢。

Answer 1

看起来你正在使用旧版本的spark，你需要使用spark2.x或更高版本并将implicits导入为

import spark.implicits._

然后

val df1 = spark.read.format("csv").option("inferSchema", true).option("header",true).option("delimiter", ",").csv("path")

Answer 2

你甚至没有得到SparkSession。您正在使用旧版本的Spark，您应该使用SQlContext，并且还需要在启动spark shell时包含外部数据库csv库...

$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.5.0

然后从火花壳内......

import org.apache.spark.sql.SQLContext

val sqlContext = new SQLContext(sc)
val df = sqlContext.read
    .format("com.databricks.spark.csv")
    .option("header", "true") // Use first line of all files as header
    .option("inferSchema", "true") // Automatically infer data types
    .load("cars.csv")

您可以看到有关它的更多信息here

spark错误：spark.read.format（＆＃34; org.apache.spark.csv＆＃34;）

2 个答案: