如何使用动态框架读取带有引号,空格和标题列的文本文件?

时间:2019-09-27 17:38:09

标签: pyspark-dataframes

我有一个文本文件,如下所示:

My Text File

定界符是一个空格,我想跳过标题并除去引号。我必须使用

读取文件

glueContext.create_dynamic_frame_from_options()

有什么主意如何以我想要的方式读取它并以这种方式创建数据框?我在考虑在format_options内部使用skipFirst =“ True”和“ separator”:“”。我也想尝试“ withHeader”:true

编辑: 他们都没有工作。它可能需要使用Column

0 个答案:

没有答案