如何使用1.4 DF API(Scala)连接两个字符串列或文字到字符串列

时间:2015-10-11 17:48:50

标签: scala spark-dataframe

当我尝试使用“+”函数连接两个字符串列或带字符串列的文字时,结果始终为null。

auction.select(col("item") ) show

+----+
|item|
+----+
|xbox|
+----+

所以专栏很好。但+运算符总是产生null。我在1.4 API中找不到concat函数。

auction.select(col("item") + col("item")) show

+-------------+
|(item + item)|
+-------------+
|         null|
+-------------+

文字

也是如此
auction.select(lit("Blue ") + col("item")) show


+--------------+
|(Blue  + item)|
+--------------+
|          null|
+--------------+

1 个答案:

答案 0 :(得分:-1)

您始终可以将DataFrame注册为表,然后通过SQL查询:

auction.registerTempTable("auction")
val concatenated = sqlContext.sql("SELECT CONCAT(item, ' ',  item) FROM auction")