标签： apache-spark dataframe serialization
如何确定我的Spark DataFrame是否在整个AWS集群中进行了序列化？我正在从CSV读入DataFrame，但如果全部在头节点上，则最好在笔记本电脑上运行Spark。如果要创建RDD，则可以使用sc.serialize（）函数进行。 DataFrames是否具有等效功能？或者，DataFrames是否在后台自动进行了序列化？