如何从Spark保存Feather格式\存储文件？

Question

是否可以将数据帧从Apache Spark导出到羽状（https://github.com/wesm/feather）文件？

Answer 1

不确定，您可以直接进行操作，但是您可以先将Spark Dataframe（在pyspark上）转换为大熊猫，然后将其存储到Feather中：

pandas_df = spark_df.toPandas()

feather.write_feather(pandas_df, 'example_feather')

但是我担心，这会对性能产生影响。