pyspark DataFrame获取原始行CSV字符串

时间:2018-03-13 16:58:02

标签: apache-spark pyspark

我正在将CSV文件加载到spark DataFrame

此时我正在进行一些解析和验证,如果验证失败 - 我想将原始CSV行写入不同的文件

是否可以从DataFrame对象中获取原始字符串?

我想过从DataFrame中获取ln数字,并从原始文件中提取它

我想使用DF对象会更好,但如果不可能 - 从文件中提取

0 个答案:

没有答案