spark数据帧缓存非常慢

时间:2016-08-30 23:56:40

标签: apache-spark apache-spark-sql spark-dataframe

在我的代码中,我有一个我想要缓存的数据帧(df.cache())。这非常慢。我查看了指标,GC时间约为0.2到0.3秒。任务:成功/总计说(0/400)并且内存和计算消耗都很低。有人可以指出我可以调整的一些参数来消除这个瓶颈。

0 个答案:

没有答案