标签: http apache-storm ning
我有一个用例涉及从多个HTTP端点提取/传输数据,超过100个。
我有一个独立的Java应用程序,可以使用ning异步客户端http库管理多达30多个客户端请求,但我正在寻找一些关于如何扩展它以处理更多内容的想法。
用例是从端点提取数据并将它们推入kafka队列(类似于jms队列),以便通过风暴拓扑进行处理。我坚持的一点是如何最有效地将http端点数据放到Kafka队列中。
感谢