如何集群多个HTTP客户端?

时间:2013-10-03 17:29:00

标签: http apache-storm ning

我有一个用例涉及从多个HTTP端点提取/传输数据,超过100个。

我有一个独立的Java应用程序,可以使用ning异步客户端http库管理多达30多个客户端请求,但我正在寻找一些关于如何扩展它以处理更多内容的想法。

用例是从端点提取数据并将它们推入kafka队列(类似于jms队列),以便通过风暴拓扑进行处理。我坚持的一点是如何最有效地将http端点数据放到Kafka队列中。

感谢

0 个答案:

没有答案