Question

我试图从S3下载对象，以下是我的代码：

func listFile(bucket, prefix string) error {
    svc := s3.New(sess)
    params := &s3.ListObjectsInput{
        Bucket: aws.String(bucket), // Required
        Prefix: aws.String(prefix),
    }
    return svc.ListObjectsPages(params, func(p *s3.ListObjectsOutput, lastPage bool) bool {
        for _, o := range p.Contents {
            //log.Println(*o.Key)
            log.Println(*o.Key)
            download(bucket, *o.Key)
            return true
        }
        return lastPage
    })
}

func download(bucket, key string) {
    logDir := conf.Cfg.Section("share").Key("LOG_DIR").MustString(".")
    tmpLogPath := filepath.Join(logDir, bucket, key)
    s3Svc := s3.New(sess)
    downloader := s3manager.NewDownloaderWithClient(s3Svc, func(d *s3manager.Downloader) {
        d.PartSize = 2 * 1024 * 1024 // 2MB per part
    })
    f, err := os.OpenFile(tmpLogPath, os.O_CREATE|os.O_WRONLY, 0644)
    if _, err = downloader.Download(f, &s3.GetObjectInput{
        Bucket: aws.String(bucket),
        Key:    aws.String(key),
    }); err != nil {
        log.Fatal(err)
    }
    f.Close()
}

func main() {
    bucket := "mybucket"
    key := "myprefix"
    listFile(bucket, key)
}

我可以在函数listFile()中获取对象列表，但是在调用下载时会返回404，为什么？

Answer 1

我最近版本的库遇到了同样的问题。有时，对象键将以＆＃34; ./"为前缀; SDK将默认删除，使下载失败。

尝试将此添加到aws.Config，看看是否有帮助：

config := aws.Config{
    ...
    DisableRestProtocolURICleaning: aws.Bool(true),
}

我提交了issue。

Golang Aws S3 NoSuchKey：指定的密钥不存在

1 个答案: