如何从Spark DataSet中删除记录

Question

我正在创建一个这样的DataSet：

SparkSession spark = JavaSparkSessionSingleton.getInstance(javaStreamingContext.sparkContext().getConf());
Dataset<Row> journyDF = spark.createDataFrame(journyDataJavaRDD, JournyData.class);

＆＃34; journyDF＆＃34;有一列＆＃34;经度＆＃34;。如果该列的值为0，那么我想从＆＃34; journyDF＆＃34;中删除该行。 （从进一步处理中略过一行）

有没有办法可以做到这一点？

Answer 1

最简单的方法似乎是$('select').change(function(){ // "this" is the <select> that was changed var conceptName = $(this).find(":selected").text(); console.log(conceptName); }); ，所以像

Dataset.filter()

或者

Dataset<Row> journyDF = spark.createDataFrame(journyDataJavaRDD, JournyData.class).filter($"longitude" != 0);

（您没有指定列的类型，因此您可能需要对其进行调整。）