SparkSQL：找不到值expr

Question

我在使用Spark SQL构建一个简单的应用程序时遇到了一些问题。我想要做的是向DataFrame添加一个新列。因此，我做了：

val sqlContext=new HiveContext(sc)
import sqlContext._
// creating the DataFrame
correctDF.withColumn("COL1", expr("concat('000',COL1)") )

但是当我使用sbt构建它时会抛出异常：

not found: value expr

（还有Eclipse抱怨它）

而在spark-shell中，它就像魅力一样。

在我的build.sbt文件中，我有：

scalaVersion := "2.10.5"

libraryDependencies += "org.apache.spark" % "spark-core_2.10" % "1.6.0" % "provided"

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.6.0" % "provided"

libraryDependencies += "org.apache.spark" % "spark-hive_2.10" % "1.6.0" % "provided"

我在阅读帖子后添加了最后一行，但没有改变......

有人可以帮助我吗？

Answer 1

我找到了答案。我错过了这个导入：

import org.apache.spark.sql.functions._