将IBM MQ读入Hadoop

Question

我有HDP2.1群集。我想将IBM MQ中的数据直接导入Hadoop，探索可以为我做这件事的工具

哪种工具在性能和生产水平方面会更好？ 我检查了水槽（JMS来源）但不确定是否能在生产水平上工作。

根据http://hortonworks.com/blog/discover-hdp-2-2-apache-kafka-apache-storm-stream-data-processing/

，Storm无法很好地连接到IBM MQ

我可以使用其他任何生产级工具吗？

Answer 1

IBM Streams可以非常轻松地完成此任务。该产品附带两个工具包来执行此操作：

1）streamsx.messaging（http://ibmstreams.github.io/streamsx.messaging/） - 此工具包提供了一个JMSSource运算符，用于从Websphere MQ读取数据

2）streamsx.hdfs（http://ibmstreams.github.io/streamsx.hdfs/）

您可以构建如下的Streams应用程序：

JMSSource - ＆gt;一些处理 - ＆gt; HDFS2FileSink

有关IBM Streams的更多信息，您可能需要查看此站点： http://ibmstreams.github.io/

希望这有帮助。