带有em-synchrony的EventMachine我需要正确地限制我的http请求

时间:2012-09-04 13:01:10

标签: ruby http asynchronous eventmachine fibers

我有一个消费者通过订阅订阅从队列中提取消息。它接收这些消息,然后用相当慢的http接口连接。我有一个8的工作池,一旦填满,我需要停止从队列中提取请求,并使正在处理http作业的光纤继续工作。这是我一起抛出的一个例子。

def send_request(callback)
  EM.synchrony do

    while $available <= 0

      sleep 2 

      puts "sleeping"
    end 
    url = 'http://example.com/api/Restaurant/11111/images/?image%5Bremote_url%5D=https%3A%2F%2Firs2.4sqi.net%2Fimg%2Fgeneral%2Foriginal%2F8NMM4yhwsLfxF-wgW0GA8IJRJO8pY4qbmCXuOPEsUTU.jpg&image%5Bsource_type_enum%5D=3'
    result = EM::Synchrony.sync EventMachine::HttpRequest.new(url, :inactivity_timeout => 0).send("apost", :head => {:Accept => 'services.v1'})

    callback.call(result.response) 
  end 
end

def display(value)
  $available += 1
  puts value.inspect
end

$available = 8 

EM.run do
  EM.add_periodic_timer(0.001) do
    $available -= 1
    puts "Available: #{$available}"

    puts "Tick ..." 
    puts send_request(method(:display))
  end 

end

我发现如果我在同步块中的while循环中调用sleep,则反应器循环会卡住。如果我在if语句中调用sleep(只睡一次)那么大多数时候它就足以让请求完成但是它最多是不可靠的。如果我使用EM :: Synchrony.sleep,那么主反应器循环将继续创建新请求。

有没有办法暂停主循环,但纤维是否完成执行?

1 个答案:

答案 0 :(得分:1)

sleep 2

...

add_periodic_timer(0.001)
你是认真的吗?

你有没有想过有多少send_request在睡觉中睡觉?它每秒增加1000个。

这个怎么样:

require 'eventmachine'
require 'em-http'
require 'fiber'

class Worker
  URL = 'http://example.com/api/whatever'

  def initialize callback
    @callback = callback
  end

  def work
    f = Fiber.current
    loop do
      http = EventMachine::HttpRequest.new(URL).get :timeout => 20

      http.callback do
        @callback.call http.response
        f.resume
      end
      http.errback do
        f.resume
      end

      Fiber.yield
    end
  end
end

def display(value)
  puts "Done: #{value.size}"
end

EventMachine.run do
  8.times do
    Fiber.new do
      Worker.new(method(:display)).work
    end.resume
  end
end