PySpark过滤器从MongoDB填充的RDD

Question

我，我已经从MongoDB上存储的集合中创建了一个RDD，现在我想应用一些过滤器，例如，过滤空行。

rdd = spark.read.format('mongo').option("inferSchema", "false").load().rdd
rdd.filter(lambda x: x['date'] != '')

记录包含条目的地方：

{ 
   _id = 04949,
   name = 'hello',
   date = '03/12/2009'
}     

但是它不起作用，我仍然可以找到一些日期为''

的记录