在spark中删除空值列

Question

我在下面给出了代码

ataset.select("Lead Owner").show();
        dataset.filter(dataset.col("Lead Owner").isNotNull());
        dataset.select("Lead Owner").show();

但它不会删除列Lead Owner的空值。谁能说出我在这里做错了什么？

Answer 1

数据集是不可变的。 dataset.filter是一个转换，将返回一个新数据集，而不是修改原始数据集。请参阅DataSet Docs

val filteredData = dataset.filter(dataset.col("Lead Owner").isNotNull());
filteredData.select("Lead Owner").show();