将Spark数据框转换为显示错误的Pandas数据框

时间:2018-10-26 05:20:52

标签: python pandas apache-spark

亲爱的

我正在从Hive表中获取数据以触发数据帧,然后转换为熊猫。

sp_df=sqlContext.sql(" \
select * from table1 "\)

sp_df.count()
# 56113241 -- rows

pd_df = sp_df.toPandas()

在花费了很长时间以下错误后显示错误。

  

org.apache.spark.SparkException:由于SparkContext已关闭,作业5已取消

能否请您帮我解决该错误。 5600万条记录无法转换为熊猫。

0 个答案:

没有答案