Ruby:从Windows上的外部进程的stdout和stderr读取大数据

时间:2011-01-11 18:51:23

标签: ruby io pipe

问候,全部,

我需要从Windows上的Ruby 1.9.2运行一个可能长时间运行的进程,然后从外部进程的标准输出和错误中捕获和解析数据。可以向每个数据发送大量数据,但我一次只对一行感兴趣(不捕获和存储整个输出)。

经过一番研究后,我发现Open3 class将负责执行流程,并将IO个对象连接到流程的标准输出和错误(通过popen3

Open3.popen3("external-program.bat") do |stdin, out, err, thread|
  # Step3.profit() ?
end

但是,我不确定如何在不阻止程序的情况下连续读取两个流。由于在发送大量数据时在IO#readlinesout上调用err会导致内存分配错误,因此我尝试连续检查两个流以获取可用输入,但没有我的任何实施都很幸运。

提前感谢任何建议!

1 个答案:

答案 0 :(得分:8)

在经过大量不同的尝试和错误尝试后,我最终想出了使用两个线程,一个用于从每个流中读取(generator.rb只是我编写的用于输出标准输出和错误的脚本):

require 'open3'

data = {}

Open3.popen3("ruby generator.rb") do |stdin, out, err, external|
  # Create a thread to read from each stream
  { :out => out, :err => err }.each do |key, stream|
    Thread.new do
      until (line = stream.gets).nil? do
        data[key] = line
      end
    end
  end

  # Don't exit until the external process is done
  external.join
end

puts data[:out]
puts data[:err]

它只是输出发送到标准输出的最后一行和调用程序的错误,但显然可以扩展为进行额外的处理(每个线程中使用不同的逻辑)。我之前使用的方法我最终提出了这个问题,导致由于竞争条件导致的一些失败;我不知道这段代码是否仍然容易受到攻击,但我还没有遇到类似的失败。