我正在使用PySpark中的com.databricks.spark.csv数据源将一组gzip压缩CSV写入HDFS,如下所示:
dataframe.write\
.mode('overwrite')\
.format('com.databricks.spark.csv')\
.options(codec='org.apache.hadoop.io.compress.GzipCodec', header=True)\
.save('...path...')
然而,文件是使用Unix EOL字符创建的,而最终消耗文件的过程需要DOS样式。
有没有办法确保使用我想要的EOL字符创建文件?