计算pyspark数据框的实际大小

时间:2018-07-09 00:28:44

标签: python json dataframe pyspark aws-glue

过去几天,我一直在使用AWS Glue和pysaprk数据帧。不幸的是,我需要计算数据框的大小,但结果却不一致。加载了1.7mb大小的JSON文件的数据框上的python sys.getszieof()返回56个字节,我不确定该如何处理。有什么建议吗?

0 个答案:

没有答案