SBT项目中的数据框方法

时间:2017-08-09 13:43:18

标签: scala apache-spark sbt

我有以下代码适用于 spark-shell

items_sold

但在 sbt 中失败并出现以下错误:

df1.withColumn("tags_splitted", split($"tags", ",")).withColumn("tag_exploded", explode($"tags_splitted")).select("id", "tag_exploded").show()

我的scala代码包含以下内容

not found: value split
not found: value explode

有人可以指点我 sbt 环境中的错误吗?

由于

1 个答案:

答案 0 :(得分:2)

分割和爆炸功能可在org.apache.spark.sql内的functions包中找到。

所以你需要导入两个

org.apache.spark.sql.functions.split
org.apache.spark.sql.functions.explode

或者

org.apache.spark.sql.functions._

希望这有帮助!