Question

我正在尝试编写一个应用，允许我的用户将文件上传到我的Google云端存储帐户。为了防止覆盖并在我身边做一些自定义处理和日志记录，我使用Node.js服务器作为上传的中间人。所以过程是：

用户将文件上传到Node.js服务器
Node.js服务器解析文件，检查文件类型，在DB中存储一些数据
Node.js服务器将文件上传到GCS
Node.js服务器对用户请求的响应，带有通过/失败备注

我在第3步有点丢失，确切地说是如何将该文件发送给GCS。 This question提供了一些有用的见解，以及一个很好的例子，但我仍然感到困惑。

我知道我可以为临时上传文件打开ReadStream并将其传递给http.request()对象。我感到困惑的是如何在POST请求中表示管道数据是file变量。根据{{3}}，需要有一个file变量，它必须是最后一个变量。

那么，如何为管道数据指定POST变量名？

如果您可以告诉我如何直接从我的用户上传来管道它，而不是将其存储在临时文件中，那么

奖励积分

Answer 1

我相信如果你想做POST，你必须使用Content-Type: multipart/form-data;boundary=myboundary标题。然后，在正文中，每个字符串字段write()都是这样的（换行符应为\r\n）：

--myboundary
Content-Disposition: form-data; name="field_name"

field_value

然后对于文件本身，write()类似于这样的身体：

--myboundary
Content-Disposition: form-data; name="file"; filename="urlencoded_filename.jpg"
Content-Type: image/jpeg
Content-Transfer-Encoding: binary

binary_file_data

binary_file_data是您使用pipe()的地方：

var fileStream = fs.createReadStream("path/to/my/file.jpg");
fileStream.pipe(requestToGoogle, {end: false});
fileStream.on('end, function() {
    req.end("--myboundary--\r\n\r\n");
});

{end: false}阻止pipe()自动关闭请求，因为您需要在完成文件发送后再写一个边界。注意边界末端的额外--。

最大的问题是Google可能需要content-length标题（非常可能）。如果是这种情况，那么您无法将用户的POST流式传输到Google的POST，因为在收到整个文件之前，您无法可靠地知道content-length的内容。

content-length标题的值应该是整个正文的单个数字。执行此操作的简单方法是在整个主体上调用Buffer.byteLength(body)，但如果您有大文件，则会很快变得难看，并且还会导致流式传输死亡。另一种方法是像这样计算：

var body_before_file = "..."; // string fields + boundary and metadata for the file
var body_after_file = "--myboundary--\r\n\r\n";
var fs = require('fs');
fs.stat(local_path_to_file, function(err, file_info) {
    var content_length = Buffer.byteLength(body_before_file) + 
            file_info.size + 
            Buffer.byteLength(body_after_file);
    // create request to google, write content-length and other headers
    // write() the body_before_file part, 
    // and then pipe the file and end the request like we did above

但是，这仍然会影响您从用户流式传输到Google的能力，必须将文件下载到本地磁盘以确定其长度。

备用选项

...现在，经过所有这些，PUT可能是你的朋友。根据{{3}}，您可以使用transfer-encoding: chunked标头，这样您就不需要查找文件长度。并且，我相信请求的整个主体只是文件，因此您可以使用pipe()并让它在完成后结束请求。如果您使用https://developers.google.com/storage/docs/reference-methods#putobject来处理上传，那么您可以执行以下操作：

incomingForm.onPart = function(part) {
    if (part.filename) {
        var req = ... // create a PUT request to google and set the headers
        part.pipe(req);
    } else {
        // let formidable handle all non-file parts
        incomingForm.handlePart(part);
    }
}

Node.js POST文件到服务器

1 个答案: