使用com.databricks.spark.csv格式时如何指定EOL字符?

时间:2016-10-17 16:28:51

标签: python apache-spark pyspark

我正在使用PySpark中的com.databricks.spark.csv数据源将一组gzip压缩CSV写入HDFS,如下所示:

dataframe.write\
.mode('overwrite')\
.format('com.databricks.spark.csv')\
.options(codec='org.apache.hadoop.io.compress.GzipCodec', header=True)\
.save('...path...')

然而,文件是使用Unix EOL字符创建的,而最终消耗文件的过程需要DOS样式。

有没有办法确保使用我想要的EOL字符创建文件?

0 个答案:

没有答案