awscli s3:通过stdin上传

时间:2014-05-08 21:53:32

标签: amazon-web-services amazon-s3 aws-cli

我想将一个tarball上传到s3,而不会产生临时文件的成本(我们的磁盘很低)。使用其他实用程序,我将tar命令的输出传递给upload命令,但它不适用于awscli:

$ echo ok | aws s3 cp /dev/stdin s3://my-bucket/test
upload failed: /dev/stdin to s3://my-bucket/test [Errno 29] Illegal seek

有没有办法做我想做的事?

2 个答案:

答案 0 :(得分:16)

这应该可以解决问题:

tar cv aws-test|aws s3 cp - s3://bucket/aws-test.tar.gz

编辑:确保您使用了较新的aws cli版本。我已经验证它适用于1.7.3并且它不适用于1.2.9

请注意,如果文件超过5GB,则应使用expected-size传递文件大小的估计值,例如:

tar cv /home/folder | gzip | s3 cp --expected-size=1234567890 - s3://bucket/folder.tar.gz

来源:s3 cp reference docs

答案 1 :(得分:6)

这个简单的脚本似乎可以完成这项工作,但我很多而不是为此创建我自己的工具。

#!/bin/bash
configfile="aws.ini"
file="/test"
bucket="my-bucket"
resource="/${bucket}${file}"
contentType="application/x-compressed-tar"

# Grab the config values
eval $(cat aws.ini  | grep -P "^\w+=[-'/\w]+$")

# Calculate the signature.
dateValue=$(date -R)
stringToSign="PUT\n\n${contentType}\n${dateValue}\n${resource}"
signature=$(
    echo -en "${stringToSign}" |
    openssl sha1 -hmac "${aws_secret_access_key}" -binary |
    base64
)

# PUT!
curl \
    -X PUT \
    --data @- \
    -H "Host: ${bucket}.s3.amazonaws.com" \
    -H "Date: ${dateValue}" \
    -H "Content-Type: ${contentType}" \
    -H "Authorization: AWS ${aws_access_key_id}:${signature}" \
    "https://${bucket}.s3.amazonaws.com${file}"