Pyspark sqlContext使用LIMIT

时间:2016-11-29 20:01:58

标签: python sql apache-spark dataframe pyspark

我收到错误:

  

AnalysisException:u'Correlated scalar子查询必须聚合:GlobalLimit 1 \ n + - LocalLimit 1 \ n + - Aggregate [email#967],[max(lastdateupdate#189)AS max(lastdateupdate)...

基于数据框在TempTable中使用SQL。

df.registerTempTable('test')

此查询有效:

sqlContext.sql('select * from test t where lastdateupdate=(select max(lastdateupdate) from test u limit 1)')

但是这个,我收到错误信息:

sqlContext.sql('select * from test t where lastdateupdate=(select max(lastdateupdate) from test u where u.email=t.email limit 1)')

我不明白为什么。

0 个答案:

没有答案