Alpakka-使用最新的S3连接器下载文件时Akka-Http失败

时间:2018-08-31 08:18:51

标签: akka akka-stream akka-http alpakka

我们正在使用alpakka最新的S3连接器下载流,但失败并出现最大长度错误 作为exceeded content length limit (8388608 bytes)! You can configure this by setting `akka.http.[server|client].parsing.max-content-length` or calling `HttpEntity.withSizeLimit` before materializing the dataBytes stream.,流作为Source(从S3下载文件),并使用以下命令流向AMQP服务器 java amqp-client库,当我们流式传输少于8M的文件时,它处理但较大的文件没有处理并抛出错误 上面突出显示。

  • Akka-http不会将文件直接保存在内存中 源,我们是否需要首先将文件保留在内存中然后进行流传输?

  • 是否为下游,即AMQP(它是Java客户端库(5.3.0))是givig
    这个问题,我们对Rabbit使用一个连接和一个通道
    MQ?

    val source = s3Client.download(bucketName, key)._1.
    via(Framing.delimiter(ByteString("\n"), Constant.BYTE_SIZE, 
    true).map(_.utf8String))
    
    val flow = Flow[String].mapAsync(
    //Calling future of posting message to rabbit MQ
    
    Future {
    //Rabbit MQ config Properties
    rabbitMQChannel.basicPublish(exchangeName, routingKey, amqpProperties, 
    message.toString.getBytes)
    }
    
    )     
    val result = source.via(flow).runWith(Sink.ignore)
    

0 个答案:

没有答案