管道流从busboy请求发布

时间:2016-04-24 21:40:16

标签: javascript java node.js express multipartform-data

我有multipart/form-data我发布到快速端点/data/upload,表格标记如下:

form(enctype="multipart/form-data", action="/data/upload", method="post")
  input(type="file", name="data")

我正在使用busboy来读取文件流,这工作正常。从那里,我想使用multipart/form-data npm模块将流再次作为request发送到第二个Java后端。 JS客户端/ Java服务器代码如下:

  req.busboy.on('file', function (fieldName, fileStream, fileName, encoding, mimeType) {

    var reqBody = {
      url: server.baseURL + 'api/data',
      headers: {
        'Connection': 'keep-alive',
        'Content-Type': 'multipart/form-data'
      },
      formData: {
        file: fileStream
      }
    };

    request.post(reqBody, function (err, r, body) {
      // Do rendering stuff, handle callback
    });
 });

Java端点(api / data)

@POST
@Consumes(MediaType.MULTIPART_FORM_DATA)
public void addData(FormDataMultiPart formDataMultiPart) {
  // Handle multipart data here      
}

我不认为我正在以multipart/form-data正确发送文件...但是我很难弄清楚如何将流从busboy直接管道传输到{ {1}}无需从客户端的临时文件读取/写入。有什么想法吗?

Java堆栈跟踪:

request

Rahat推荐的更改

Apr 27, 2016 5:07:12 PM org.glassfish.jersey.filter.LoggingFilter log
INFO: 3 * Server has received a request on thread qtp1631904921-24
3 > POST http://localhost:8080/api/data
3 > Connection: keep-alive
3 > Content-Length: 199
3 > Content-Type: multipart/form-data; boundary=--------------------------331473417509479560313628
3 > Host: localhost:8080

Apr 27, 2016 5:07:12 PM org.glassfish.jersey.filter.LoggingFilter log
INFO: 3 * Server responded with a response on thread qtp1631904921-24
3 < 400

17:07:13.003 [qtp1631904921-24] WARN  org.eclipse.jetty.http.HttpParser parseNext - bad HTTP parsed: 400 No URI for HttpChannelOverHttp@425137da{r=1,c=false,a=IDLE,uri=null}

提出错误:

 31     var reqBody = {
 32       url: server.baseURL + 'data',
 33       headers: {
 34         'Connection': 'keep-alive',
 35         'Content-Type': 'multipart/form-data'
 36       }
 37     };
 38 
 39     req.pipe(req.busboy.pipe(request.post(reqBody)));

3 个答案:

答案 0 :(得分:13)

这里的问题是您需要手动为分段上传提供“内容长度”,因为request(和基础form-data)无法自行解决。 因此请求发送无效的Content-Length:199(对于任何传入的文件大小都相同),这会破坏java多部分解析器。

有多种解决方法:

1)使用传入请求'Content-Length'

request.post({
  url: server.baseURL + 'api/data',
  formData: {
    file: {
      value: fileStream,
      options: {
        knownLength: req.headers['content-length']
      }
    }
  }
}, function (err, r, body) {
  // Do rendering stuff, handle callback
})

这会产生一些不正确的请求,因为传入的长度包括其他上传字段和边界,但是busboy能够解析它没有任何投诉

2)等待文件被节点应用程序完全缓冲,然后将其发送到java

var concat = require('concat-stream')
req.busboy.on('file', function (fieldName, fileStream, fileName, encoding, mimeType) {
  fileStream.pipe(concat(function (fileBuffer) {
    request.post({
      url: server.baseURL + 'api/data',
      formData: {
        file: fileBuffer
      }
    }, function (err, r, body) {
      // Do rendering stuff, handle callback
    })
  }))
})

这会增加应用内存消耗,因此您需要小心并考虑使用busboy limits

3)上传前缓冲文件到磁盘(仅供参考)

  • express + multer - 我建议使用express for webservers,它使事情更易于管理,而multer则基于busboy
  • formidable

答案 1 :(得分:0)

如果可能,发送一个具有确切大小文件(字节)的自定义标头。始终可以在处理有效负载流之前读取标头。使用此代替上一个答案的内容长度标题,因为这有时不起作用(我想,小文件,但我不能确保它适用于大文件)。

答案 2 :(得分:0)

关于Afanasii Kurakin的答案

request.post({
  url: server.baseURL + 'api/data',
  formData: {
    file: {
      value: fileStream,
      options: {
        knownLength: req.headers['content-length']
      }
    }
  }
}, function (err, r, body) {
  // Do rendering stuff, handle callback
})

您应将req.headers['content-length']更改为实际文件大小,通常,标头中的内容长度大于文件大小。由于内容长度太长,使用文件大小后,我感到非常痛苦。