PipedInputStream / PipedOutputStream,ImageIO和ffmpeg

时间:2015-04-18 02:44:22

标签: scala amazon-ec2 ffmpeg pipe javax.imageio

我在Scala中有以下代码:

      val pos = new PipedOutputStream()
      val pis = new PipedInputStream(pos)

      Future {
        LOG.trace("Start rendering")
        generateFrames(videoRenderParams.length) {
          img ⇒ ImageIO.write(img, "PNG", pos)
        }
        pos.flush()
        IOUtils.closeQuietly(pos)
        LOG.trace("Finished rendering")
      } onComplete {
        case Success(_) ⇒ 
          LOG.trace("Complete successfully")
        case Failure(err) ⇒
          LOG.error("Can't render stuff", err)
          IOUtils.closeQuietly(pis)
          IOUtils.closeQuietly(pos)
      }

      val prc = (ffmpegCli #< pis).!(logger)

Future只是将生成的图像逐个写入 OutputStream 。现在 ffmpeg 进程从 stdin 读取输入图像并将它们转换为MP4文件。

效果很好,但由于某种原因,有时候我会得到以下的堆栈跟踪:

I/O error Pipe closed for process: <input stream>
java.io.IOException: Pipe closed
    at java.io.PipedInputStream.checkStateForReceive(PipedInputStream.java:260)
    at java.io.PipedInputStream.receive(PipedInputStream.java:226)
    at java.io.PipedOutputStream.write(PipedOutputStream.java:149)
    at scala.sys.process.BasicIO$.loop$1(BasicIO.scala:236)
    at scala.sys.process.BasicIO$.transferFullyImpl(BasicIO.scala:242)
    at scala.sys.process.BasicIO$.transferFully(BasicIO.scala:223)
    at scala.sys.process.ProcessImpl$PipeThread.runloop(ProcessImpl.scala:159)
    at scala.sys.process.ProcessImpl$PipeSource.run(ProcessImpl.scala:179)

与此同时,我从另一个流中收到以下错误:

javax.imageio.IIOException: I/O error writing PNG file!
    at com.sun.imageio.plugins.png.PNGImageWriter.write(PNGImageWriter.java:1168)
    at javax.imageio.ImageWriter.write(ImageWriter.java:615)
    at javax.imageio.ImageIO.doWrite(ImageIO.java:1612)
    at javax.imageio.ImageIO.write(ImageIO.java:1578)
    at 

因此,似乎流在两者之间被破坏,因此 ffmpeg 无法读取数据, ImageIO 无法写入数据。

更有趣的是 - 该问题仅在某些Linux服务器(Amazon)上可重现。它在其他Linux机器上完美运行。所以我想知道是否有人可以指出我可能导致此错误的原因。

到目前为止我尝试过:

  • 使用Oracle JDK 8和OpenJDK
  • 使用不同版本的FFMPEG

目前没有任何工作。

1 个答案:

答案 0 :(得分:3)

这个问题在某种程度上是可预测和奇怪的。因此,有10个并发的 ffmpeg 进程被安排来处理输入,输入是一组数百个 FullHD 图片。显然需要大量的计算能力,因此内核会随机关闭 ffmpeg 进程,导致Java包装器同时报告损坏的输入和输出管道。

因此 / var / log / messages 包含许多日志,如下所示:

Out of memory: Kill process 25778 (java) score 159 or sacrifice child
Killed process 25931 (ffmpeg) total-vm:2337040kB, anon-rss:966340kB, file-rss:104kB

减少并发 ffmpeg 进程的数量解决了这个问题。