Apache Spark org.apache.spark.sql.DataFrameNaFunctions用法的任何示例? ..drop()似乎不起作用?

时间:2017-02-23 06:28:27

标签: apache-spark apache-spark-sql

我正在尝试使用NA值过滤数据集..found org.apache.spark.sql.DataFrameNaFunctions 但它似乎下降()或下降("任何")似乎没有正常工作..任何人尝试..或请分享java中的用法..谢谢你......

    import org.apache.spark.sql.DataFrameNaFunctions;
    Dataset<Row> inputDS=spark.read().option("header","true").
                                 csv("inputfile.csv");
    inputDS.show();

    //Updated dataset...remove null or NAN 
    DataFrameNaFunctions inputDatasetsansNullorNAN=new DataFrameNaFunctions(inputDS);
    Dataset<Row> inputDSnulldropped=inputDatasetsansNullorNAN.drop();
    inputDSnulldropped.show();

............ 输入文件

name item

1.Alice,乳  鲍勃,空  3. NA,
 4.测试,a  5. NA,NA  6. null,NA  7.鲍勃,NA  8。  9.

输出

名称项目 1.爱丽奶 2.Bob null 3.Test a 4.NA NA 5.null NA 6.Bob NA

0 个答案:

没有答案