自定义spark csv行终止符

时间:2018-07-12 08:20:51

标签: pyspark export-to-csv databricks

我正在使用pyspark代码使用以下代码从数据帧生成csv,

function isNum<T extends number>(x:T):T extends number?”Y”:”N”{
    return “Y”; // <- error: type “Y” is not assignable to type ‘T extends number?”Y”:”N”’
}

但是,当我打开并在notepad ++中看到行终止符时,它附带了默认行终止符“ \ n”。我尝试了不同的选项,例如textinputformat记录分隔符集等,但是没有运气。在将数据帧导出到Spark中的csv时,是否可以自定义此EOL。实际上,我需要使用CRLF(“ \ r \ n”)自定义此EOL。感谢任何帮助。谢谢。

0 个答案:

没有答案