Question

我正在编写一个简单的部署工具，该工具需要从s3中获取tar文件，将其提取出来，然后将其上传到我们的登台服务器。我不想在本地存储文件，而将它们保存在内存中。

这是我的代码，用于从s3下载文件

var commentWidgets = List<Widget>();
for (var comment in comments) {
  commentWidgets.Add(Text(comment.text)); // TODO: Whatever layout you need for each widget.
}
…

new Expanded(
      child:
      new ListView(
        shrinkWrap: true,
        children: <Widget>[

          // Title

          new Padding(padding: const EdgeInsets.only(
              top: 10.00, left: 10.00),
            child: new Text(
              _feed.title, textAlign: TextAlign.start,),
          ),

          // content

          new Container(
            child: new Text(
              _feed.content, textAlign: TextAlign.start,),
          ),

          // Comments List will go here
          Column(children: commentWidgets,),
        ],
      ),
    ),

我想避免在此示例中创建目录和文件，而只是将所有内容保留在内存中。我省去了从代码中提取文件的步骤。下一步是使用go-scp上传文件，如下所示：

func s3downloadFile(downloader *s3manager.Downloader, item string) {
    localitem := strings.Replace(item, s3base, "", -1)
    os.MkdirAll(path.Dir(localitem), os.ModePerm)
    file, err := os.Create(localitem)
    if err != nil {
        exitErrorf("Unable to open file %q, %v", err)
    }

    defer file.Close()

    numBytes, err := downloader.Download(file,
        &s3.GetObjectInput{
            Bucket: aws.String(s3bucket),
            Key:    aws.String(item),
        })
    if err != nil {
        exitErrorf("Unable to download item %q, %v", item, err)
    }

    fmt.Println("Downloaded", file.Name(), numBytes, "bytes")
}

然后我的问题将集中在这段代码的// Finaly, copy the file over // Usage: CopyFile(fileReader, remotePath, permission) client.CopyFile(f, "/path/to/remote/file", "0655")部分，我如何才能在内存中保留文件读取器，而不是在本地存储文件。

Answer 1

docs for Download中提到了这一点：

可以通过os.File文件满足w io.WriterAt的要求，以进行多部分并发下载，或者使用aws.WriteAtBuffer在内存中的[] byte包装器中。

因此，请使用aws.WriteAtBuffer而不是*os.File：

buf := new(aws.WriteAtBuffer)

numBytes, err := downloader.Download(buf, &s3.GetObjectInput{
    Bucket: aws.String(s3bucket),
    Key:    aws.String(item),
})

tr := tar.NewReader(bytes.NewReader(buf.Bytes()))
// ...

如何将文件保留在内存中-在服务器之间传输文件而不将其存储在本地

1 个答案: