现在我有一个案例,我使用hadoop来侦听/接收来自JMS队列的消息。如果队列有消息然后trriger map / reduce program,那么我们不希望map reduce我们需要循环执行map / reduce代码很多次。
我的问题是:
public boolean nextKeyValue()
throws IOException
使用此方法,我们每次都返回键和值。如果我返回false,地图缩减代码将运行完成。如果我返回true,map / reduce代码将等待下一个键值而不是调用reduce方法。那么有没有办法在map方法之后很快运行reduce方法,而nextKeyValue返回true以等待JMS队列的下一条消息?。
或者有人对hadoop读取继续数据源有好主意然后并行执行map / reduce,与Hstreaming功能相同吗?
感谢每一个人。你最好的朋友特蕾西。