在pyspark中过滤数据框

时间:2017-08-22 16:26:56

标签: dataframe pyspark pyspark-sql

我的数据框看起来像这样,

[Row(cardholder_nbr=u'10', category_nbr=87, club_nbr=6279, membership_nbr=u'780941902', retail_all=51.23, sub_category_nbr=1, system_item_nbr=3572924, unit_qty=1.0, visit_date=u'2016-08-05', visit_nbr=1608057826021405)]

我想根据2016-09-15至2016-09-23之间的访问日期范围对其进行过滤。 我该怎么做? 如果我这样做,

df = sqlContext.sql("SELECT * from df_table WHERE visit_date >= '2016-09-15' AND visit_date <= '2016-09-23'")

我收到此错误,

  

“int()”无效的文字

如何正确过滤?

1 个答案:

答案 0 :(得分:2)

你可以尝试一下,让我们知道它是否有效吗?

<div id="test" style="font-size: 0"></div>