my previous question about Flume data flows
的后续问题我想处理事件并进一步发送提取的数据。我想接受大型活动,比如zipped html> 5KB,解析它们并将许多细微的消息(如页面中的网址)放到另一个频道,还有一些页面指标到另一个频道。由于解析页面耗费资源,我宁愿不将消息复制到不同的处理器来完成这些任务,这两个任务都需要解析html并在内存中构建DOM。另外,如果可能的话,我想避免将解析器中的序列化DOM发送到指标计算器。我可以扩展接收器并为每个传入事件产生多个事件到多个传出通道吗?像
这样的东西 htmlChannel urlChannel
HtmlPagesSource -------------> PageParser -------------> UrlConsumer
html | urls
|
| metricsChannel
-------------------> MetricsConsumer
metrics