标签: python numpy apache-spark pyspark jvm
我使用jmap来转储内存使用并找到名为cnumpy.core.multiarray的数据结构,该对象属于org.apache.spark.rdd.MapPartitionsRDD
cnumpy.core.multiarray
org.apache.spark.rdd.MapPartitionsRDD
它占用了很大一部分内存,似乎是在创建RDD时创建的,但是我还没有找到一种从内存中释放它的方法。
此数据类型是什么?如何从内存中释放它?