将文件写入S3时,动态框架会删除Null列

时间:2019-08-06 08:04:54

标签: amazon-s3 aws-glue aws-glue-data-catalog

在读取S3文件时,如果源文件中的所有记录的所有记录都为空,则它将从动态帧中删除该字段,而我将数据写入S3时,当我再次运行搜寻器时,我在表格目录中看不到该列。

我们如何停止从动态帧中删除NULL字段?我们应该向下面的方法传递什么附加参数以停止删除空列,或者还有其他方法吗?

glueContext.write_dynamic_frame_from_options(
    frame=dynf_frame,
    connection_type="s3",
    connection_options={"path": stg_file_path},
    format="avro",
    format_options={}
)

0 个答案:

没有答案