Question

我有一个小的Clojure消费者/发布者接收消息，处理它们并通过RabbitMQ将它们发送给其他消费者。

我已经定义了一个消息处理程序，它在一个单独的线程中处理消息（与主线程分开）。从下面的代码中可以看出，线程同步接收和发送消息，所有这些都发生在由 lcm / subscribe 函数启动的事件循环中。

所以，问题是，创建这些同步消息处理程序的N大小线程池的“Clojure方法”是什么？我想非Clojure方法是通过Java interop手动生成许多线程。

另外，考虑到处理不是非常耗费CPU，那会不会加快处理消息的速度？将这些消息处理程序设置为异步会不会更好 - 考虑到发布时间比处理时间更长？

最后，我将如何衡量这些竞争方法的性能（我来自Ruby / Javascript世界，那里没有任何多线程）？

注意：我知道所有这一切都可以通过横向扩展和产生更多JVM进程来监听消息总线来避免，但由于应用程序将部署在Heroku上，我想在每个dyno /进程中使用尽可能多的资源

(defn message-handler
  [ch metadata ^bytes payload]
  (let [msg (json/parse-string (String. payload "UTF-8"))
        processed-message (process msg)] 
    (lb/publish ch "e.events" "" processed-message)))

(defn -main
  [& args]
  (let [conn          (rmq/connect {:uri (System/getenv "MSGQ")})
        ch            (lch/open conn)
        q-name        "q.events.tagger"
        e-sub-name    "e.events.preproc"
        e-pub-name    "e.events"
        routing-key   "tasks.taggify"]
    (lq/declare ch q-name :exclusive false :auto-delete false)
    (le/declare ch e-pub-name "fanout" :durable false)
    (lq/bind ch q-name e-sub-name :routing-key routing-key)
    (.start (Thread. (fn []
                       (lcm/subscribe ch q-name message-handler :auto-ack true))))))

更基本的说明......我将如何重构此代码以支持使用其他参数注册消息处理程序回调，如下所示：

    (.start (Thread. (fn []
                       (lcm/subscribe ch q-name (message-handler pub-name) :auto-ack true))))))

然后使用引用发布：

    (lb/publish ch pub-name "" processed-message)))

而不是文字：

    (lb/publish ch "e.events" "" processed-message)))

Answer 1

对于问题的第二部分，您可以使用部分应用程序，如下所示：

(defn message-handler
  [pub-name ch metadata ^bytes payload]
  (let [msg (json/parse-string (String. payload "UTF-8"))
        processed-message (process msg)] 
    (lb/publish ch pub-name "" processed-message)))



(.start 
  (Thread. 
     (fn []
       (lcm/subscribe ch q-name (partial message-handler e-pub-name) :auto-ack true))))))

Answer 2

这是一个非常大的主题，你可以考虑将这个问题分成几个不同的问题，但简明的答案是：use agents。

Clojure消息处理/异步，多线程

2 个答案: