从Spark DataFrame中删除空白值,然后合并为单行

时间:2018-07-19 09:11:51

标签: apache-spark apache-spark-sql

这是我输入的DataFrame:

number|word|ID |Name|
+------+----+---+----+
|1     |    |   |    |
|      |abc |   |    |
|      |    |103|    |
|      |    |   |Dev |
+------+----+---+----

我要删除空白值,并希望将所有行合并为这样的单行:

number|word|ID |Name|
+------+----+---+----+
|1     | abc|103| Dev  

首先有可能产生火花吗?如果是,那么最好的方法是什么。我正在使用Scala和Spark 2.1。另外,我可以有n个列。

0 个答案:

没有答案