使用Spark DataFrameWriter使用tsv扩展名保存文件

时间:2019-01-23 20:14:46

标签: apache-spark pyspark

是否可以保存文件并使用DataFrameWriter指定扩展名?在下面的示例中,我使用制表符作为分隔符来保存数据框,但输出文件为“ .csv”。

my_dataframe.write.option("delimiter", "\t").csv(output_path)

是否可以指定扩展名为“ .tsv”。

1 个答案:

答案 0 :(得分:0)

This page 展示了如何。

output_path 需要是带有 '.tsv' 扩展名的文件名。