Java中的“并行管道”程序设计

Question

我不确定我是否正确地说这个，如果我过于复杂，或者这甚至是一个提出这么广泛问题的合适位置，但我正在尝试编写一个执行命令行的应用程序以下操作：

1. Scrapes来自多个网站的论坛评论。
2. 迭代每个论坛评论并解析出与特定模式匹配的字符串。
3. 对于之前未处理过的每个字符串，执行条件检查并对其进行处理。如果检查结果为true，则正常终止执行。 （注意：终止是目标;否则程序将继续无限期地运行。）

我已经写了一个简单的程序来做这件事，但我想简化一些事情。 （我之前写过的方式非常具有程序性。）我想设计一个应用程序，这样当论坛评论被删除时，它会立即传递给代码，从而解析它的子字符串。然后原始的论坛抓取代码将返回到抓取，而单独的进程（？）或线程（？）处理字符串等。我几乎概念化像管道一样工作的东西，这样在每个处理阶段之后，结果数据被传递到下一个阶段排队。当然，这可能是完全矫枉过正的;但是，时间是一个相对重要的因素，因此我希望能够在字符串并行处理的同时继续抓取论坛网站。

问题是我主要开发了更简单的非多线程/多进程应用程序，所以我不确定如何解决这个问题。任何指导或帮助将不胜感激！