我正在尝试使用NA值过滤数据集..found org.apache.spark.sql.DataFrameNaFunctions 但它似乎下降()或下降("任何")似乎没有正常工作..任何人尝试..或请分享java中的用法..谢谢你......
import org.apache.spark.sql.DataFrameNaFunctions;
Dataset<Row> inputDS=spark.read().option("header","true").
csv("inputfile.csv");
inputDS.show();
//Updated dataset...remove null or NAN
DataFrameNaFunctions inputDatasetsansNullorNAN=new DataFrameNaFunctions(inputDS);
Dataset<Row> inputDSnulldropped=inputDatasetsansNullorNAN.drop();
inputDSnulldropped.show();
............ 输入文件
name item
1.Alice,乳
鲍勃,空
3. NA,
4.测试,a
5. NA,NA
6. null,NA
7.鲍勃,NA
8。
9.
名称项目 1.爱丽奶 2.Bob null 3.Test a 4.NA NA 5.null NA 6.Bob NA