从URL获取图像并上传到Amazon S3

时间:2015-03-26 17:50:13

标签: asp.net .net vb.net file-upload amazon-s3

我想直接从网址加载图片但不保存在服务器上,我想直接从内存上传到Amazon S3服务器。

这是我的代码:

Dim wc As New WebClient
Dim fileStream As IO.Stream = wc.OpenRead("http://www.domain.com/image.jpg")

Dim request As New PutObjectRequest()
request.BucketName = "mybucket"
request.Key = "file.jpg"
request.InputStream = fileStream 
client.PutObject(request)

亚马逊API给了我错误"无法确定内容长度"。流fileStream最终为" System.Net.ConnectStream"我不确定它是否正确。

完全相同的代码适用于来自HttpPostedFile的文件,但我现在需要以这种方式使用它。

我有什么想法可以将流转换为Amazon API所期望的(长度完好无损)?

2 个答案:

答案 0 :(得分:4)

当我使用 GetObjectResponse()方法及其属性 ResponseStream 将文件从文件夹复制到同一存储桶中的另一个文件夹时,我遇到了同样的问题。我注意到AWS SDK(2.3.45)有一些错误,如 GetObjectResponse()中另一个名为 WriteResponseStreamToFile 的方法,它根本不起作用。这些缺乏功能需要一些解决方法。

我解决了以字节数组打开文件并将其放入MemoryStream对象的问题。

试试这个(C#代码)

WebClient wc = new WebClient();
Stream fileStream =  wc.OpenRead("http://www.domain.com/image.jpg");

byte[] fileBytes = fileStream.ToArrayBytes();

PutObjectRequest request  = new PutObjectRequest();
request.BucketName = "mybucket";
request.Key = "file.jpg";
request.InputStream = new MemoryStream(fileBytes);
client.PutObject(request);

extesion方法

public static byte[] ToArrayBytes(this Stream input)
        {
            byte[] buffer = new byte[16 * 1024];
            using (MemoryStream ms = new MemoryStream())
            {
                int read;
                while ((read = input.Read(buffer, 0, buffer.Length)) > 0)
                {
                    ms.Write(buffer, 0, read);
                }
                return ms.ToArray();
            }
        }

您还可以创建没有字节数组的MemoryStream。但是在S3中的第一个PutObject之后,MemoryStream将被丢弃。如果您需要放置其他对象,我建议您使用第一个选项

 WebClient wc = new WebClient();
 Stream fileStream =  wc.OpenRead("http://www.domain.com/image.jpg");

 MemoryStream fileMemoryStream = fileStream.ToMemoryStream();  

 PutObjectRequest request  = new PutObjectRequest();
 request.BucketName = "mybucket";
 request.Key = "file.jpg";
 request.InputStream = fileMemoryStream ;
 client.PutObject(request);

extesion方法

    public static MemoryStream ToMemoryStream(this Stream input)
    {
        byte[] buffer = new byte[16 * 1024];

        int read;
        MemoryStream ms = new MemoryStream();
        while ((read = input.Read(buffer, 0, buffer.Length)) > 0)
        {
            ms.Write(buffer, 0, read);
        }
        return ms;
    }

答案 1 :(得分:2)

我在类似的情况下遇到了同样的问题。

错误的原因是上传SDK需要知道将要上传的整个内容长度的对象。为了能够获得流长度,它必须是可搜索的,但是从WebClient返回的流不是。要指示预期长度,请在PutObjectRequest中设置Headers.ContentLength。如果SDK无法从流对象确定长度,则SDK将使用此值。

要使代码正常工作,请从WebClient调用返回的响应头中获取内容长度。然后设置PutObjectRequest.Headers.ContentLength。当然这取决于服务器返回的内容长度值。

Dim wc As New WebClient
Dim fileStream As IO.Stream = wc.OpenRead("http://www.example.com/image.jpg")
Dim contentLength As Long = Long.Parse(client.ResponseHeaders("Content-Length"))

Dim request As New PutObjectRequest()
request.BucketName = "mybucket"
request.Key = "file.jpg"
request.InputStream = fileStream 
request.Headers.ContentLength = contentLength
client.PutObject(request)