亲爱的
我正在从Hive表中获取数据以触发数据帧,然后转换为熊猫。
sp_df=sqlContext.sql(" \
select * from table1 "\)
sp_df.count()
# 56113241 -- rows
pd_df = sp_df.toPandas()
在花费了很长时间以下错误后显示错误。
org.apache.spark.SparkException:由于SparkContext已关闭,作业5已取消
能否请您帮我解决该错误。 5600万条记录无法转换为熊猫。