在aws胶中创建动态框架时,如何忽略引号?

时间:2019-09-30 23:20:38

标签: pyspark aws-glue

我在S3存储桶中有一个文本文件,我想用它来创建动态框架。一行看起来像这样:

“ 0001”“ aaaa”

具有两列的简单文件。我只想制作一个动态框架,其中包含两列各自的值。如何从动态框架中排除引号?

1 个答案:

答案 0 :(得分:0)

尝试https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-format.html中所述的format = csv及其格式选项

这仅在两个值之间只有一个字符时才有效。该字符应为separator

创建动态框架的方法:glueContext.create_dynamic_frame_from_options()