PySpark - 发送附带CSV的电子邮件,整个CSV显示在一行上

时间:2018-05-21 19:48:11

标签: python csv pyspark export-to-csv mime

我有一个生成DataFrame的脚本。我将DF转换为CSV,然后将其作为电子邮件附件发送。问题是标题+数据全部在第一行,因此生成的CSV有60k列和1行。有什么问题?

这是我的代码:

Id

1 个答案:

答案 0 :(得分:2)

只需替换

"".join(filedata.collect()

"\n".join(filedata.collect())

sc.wholeTextFiles("/dbfs/<path>/df.csv").values().first()

甚至更好的写作 - 完整阅读例程:

MIMEApplication(df.toPandas().to_csv(), Name="df.csv")