胶水无法读取空/空白目录名称的S3文件

时间:2020-03-07 21:09:51

标签: pyspark aws-glue

我正在尝试在具有空白目录名称的s3存储桶中读取csv文件,例如 s3://bucket//file.csv 使用

ds = glueContext.create_dynamic_frame_from_options(
    connection_type="s3",
    format="csv",
    connection_options={
        "paths": ["s3://bucket//file.csv"],
        'recurse':True,
    },
    format_options={
        "withHeader": True,
        "separator": ","
    })

但是得到空内容 Skipping Partition {} as no new files detected @ s3://bucket//file.csv / or path does not exist

有什么办法解决这个问题?

0 个答案:

没有答案