使用Kafka,Storm& amp; HBase的

时间:2015-06-25 02:18:00

标签: hbase apache-kafka apache-storm

为我的无知道歉。

我们正在建立一个实时数据库,根据网站上的成员活动捕获记录。发出这些信息的应用程序是IBM MQ。我们计划设置Apache Kafka以从IBM MQ使用这些消息并将其存储在HBase for Analytics中。 Kafka是否有可能将这些信息直接写入HBase或者我们应该在Kafka和Kafka之间建立一个像Apache Storm这样的实时流引擎。 HBase的?那是卡夫卡 - >风暴 - > HBase的。

感谢您的宝贵意见。

2 个答案:

答案 0 :(得分:1)

Kafka只是一个用于实时活动的发布 - 订阅消息系统。所以它只是接收和发送。主要功能是实时消息传递,容错和大规模数据处理。

要进行实际处理,您必须依赖Storm。在Strom的一侧,您可以获取kafka输出,另一方面,您可以进行数据处理并将数据发送到hdfs或hbase。由你决定。拓扑(风暴jargom)永远运行,这是与批处理不同的实时主要要求之一

答案 1 :(得分:0)

我认为您不需要使用Kafka和Storm将数据写入HBase。根据我的理解,您可以直接将数据从IBM MQ使用者写入HBase。
HBase具有java api。它也有Thrift。因此,其他语言如Python,Ruby等也可以与HBase交谈。