Question

我有一个clojure处理应用程序，它是一个渠道管道。每个处理步骤都异步进行计算（即使用http-kit或其他东西发出http请求），并将结果放在输出通道上。这样，下一步就可以从该通道读取并进行计算。

我的主要功能如下所示

(defn -main [args]
 (-> file/tmp-dir
  (schedule/scheduler)
  (search/searcher)
  (process/resultprocessor)
  (buy/buyer)
  (report/reporter)))

目前，调度程序步骤驱动管道（它没有输入通道），并为链提供工作负载。

当我在REPL中运行时：

(-main "some args")

由于调度程序无穷大，它基本上会永远运行。改变这种架构的最佳方法是什么，以便我可以从REPL关闭整个系统？关闭每个通道是否意味着系统终止？

某些广播频道有帮助吗？

Answer 1

您可以在kill频道和管道的输入频道上安排调度程序alts! / alts!!：

(def kill-channel (async/chan))

(defn scheduler [input output-ch kill-ch]
  (loop []
    (let [[v p] (async/alts!! [kill-ch [out-ch (preprocess input)]]
                  :priority true)]
      (if-not (= p kill-ch)
        (recur))))

将值放在kill-channel上将终止循环。

从技术上讲，您也可以使用output-ch来控制进程（放入已关闭的通道返回false），但我通常会发现显式的kill通道更清晰，至少对于顶级管道而言。

为了使事情更优雅，更方便（在REPL和生产中），您可以使用Stuart Sierra's component，启动调度程序循环（在单独的线程上）和assoc在组件的start方法中杀死组件上的通道，然后在组件的close!方法中使用stop kill通道（从而终止循环）。

Answer 2

我建议使用https://github.com/stuartsierra/component之类的东西来处理系统设置。它确保您可以在REPL中轻松启动和停止系统。使用该库，您可以对其进行设置，以便每个处理步骤都是一个组件，每个组件都将处理start和stop协议中通道的设置和拆除。此外，您可以为每个要实现的组件创建IStream协议，并让每个组件依赖于实现该协议的组件。它为您带来了一些非常简单的模块化。

您最终得到的系统如下所示：

(component/system-map
 :scheduler (schedule/new-scheduler file/tmp-dir)
 :searcher  (component/using (search/searcher)
                             {:in :scheduler})
 :processor (component/using (process/resultprocessor)
                             {:in :searcher})
 :buyer     (component/using (buy/buyer)
                             {:in :processor})
 :report    (component/using (report/reporter)
                             {:in :buyer}))

这种方法的一个好处是，如果它们依赖于通道，您可以轻松添加组件。例如，如果每个组件使用内部tap上的mult创建其输出通道，则只需通过将处理器作为依赖项的日志记录组件为处理器添加记录器。

 :processor (component/using (process/resultprocessor)
                             {:in :searcher})
 :processor-logger (component/using (log/logger)
                                    {:in processor})

我建议观看他的talk以了解它是如何运作的。

Answer 3

您应该考虑使用Stuart Sierra's reloaded workflow，这取决于您的管道建模＆＃39;元素为components，这样您就可以将逻辑单例建模为“类”，这意味着您可以控制每个元素的构造和销毁（启动/停止）逻辑。

如何最好地关闭clojure core.async进程管道

3 个答案: