如何使用golang从AWS S3下载

时间:2019-01-28 09:58:09

标签: amazon-web-services go amazon-s3 aws-sdk awss3transfermanager

我正在编写go函数以从AWS S3存储桶下载文件。

func DownloadFromS3Bucket() {
    bucket := "cellery-runtime-installation"
    item := "hello-world.txt"

    file, err := os.Create(item)
    if err != nil {
        fmt.Println(err)
    }

    defer file.Close()

    // Initialize a session in us-west-2 that the SDK will use to load
    // credentials from the shared credentials file ~/.aws/credentials.
    sess, _ := session.NewSession(&aws.Config{
        Region: aws.String("us-east-1")},
    )

    downloader := s3manager.NewDownloader(sess)

    numBytes, err := downloader.Download(file,
        &s3.GetObjectInput{
            Bucket: aws.String(bucket),
            Key:    aws.String(item),
        })
    if err != nil {
        fmt.Println(err)
    }

    fmt.Println("Downloaded", file.Name(), numBytes, "bytes")
}

但是,我收到一条错误消息,要求提供凭据。

  

NoCredentialProviders:链中没有有效的提供者。不推荐使用。对于   详细消息传递,请参阅aws.Config.CredentialsChainVerboseErrors

文档没有具体说明如何设置凭据。 (访问密钥ID,秘密访问密钥)

有什么主意吗?

2 个答案:

答案 0 :(得分:2)

有几种设置凭证的方法。有关更多详细信息,aws/credentials

例如,您可以通过设置环境变量来指定它:

AWS_ACCESS_KEY = <your_access_key>
AWS_SECRET_KEY = <your_secret_key>

然后只需在您的配置实例中使用credentials.NewEnvCredentials()

sess, _ := session.NewSession(&aws.Config{
    Region:      aws.String("us-east-1"),
    Credentials: credentials.NewEnvCredentials(),
})

答案 1 :(得分:1)

只需设置falseAWS_ACCESS_KEY环境变量(您不需要在AWS_SECRET_KEY中调用credentials.NewEnvCredentials()-您所做的就是完美的):

session.NewSession

这是AWS Go SDK中的完整示例:https://github.com/awsdocs/aws-doc-sdk-examples/blob/master/go/example_code/s3/s3_download_object.go

我写了一篇关于如何测试S3下载器的博客文章,并创建了可测试的S3存储桶扫描器,其中列出了所有存储桶的文件并临时下载了每个文件,请参见:https://medium.com/@tufin/a-testable-go-aws-s3-scanner-e54de0c26197

在这里您可以找到代码:https://github.com/Tufin/blog/tree/master/s3-scanner