我有以下代码适用于 spark-shell
items_sold
但在 sbt 中失败并出现以下错误:
df1.withColumn("tags_splitted", split($"tags", ",")).withColumn("tag_exploded", explode($"tags_splitted")).select("id", "tag_exploded").show()
我的scala代码包含以下内容
not found: value split
not found: value explode
有人可以指点我 sbt 环境中的错误吗?
由于
答案 0 :(得分:2)
分割和爆炸功能可在org.apache.spark.sql
内的functions
包中找到。
所以你需要导入两个
org.apache.spark.sql.functions.split
org.apache.spark.sql.functions.explode
或者
org.apache.spark.sql.functions._
希望这有帮助!