withoop with mongodb plugin - 读取数据

时间:2012-03-26 20:42:55

标签: mongodb hadoop mapreduce hadoop-plugins

我知道可以通过hadoop从mongodb读取和写入数据。

我想知道这个适配器从mongodb集合读取数据时是否使用mongodb的本机驱动程序,所以它使用mongod实例或者这个适配器读取directy数据集合?

当hadoop读取mongodb的数据在地图中处理减少时,hadoop的这个地图减少不会锁定mongodb的数据集合?

换句话说,当hadoop读取mongodb的数据时,hadoop为hadoop使用保存这个数据,而hadoop不会干扰mongodb数据,因为当hadoop执行mapreduce时它通过mongodb处理数据检索但是在hadoop中保存内部进行处理?

1 个答案:

答案 0 :(得分:1)

使用mongo-hadoop插件在Hadoop中缓存或保存数据。

相反,每个块都作为单独的输入拆分读入Hadoop,以便对Hadoop MapReduce作业进行并列化。

mongodb中唯一的锁定是一个轻读锁定,因为从Mongo读取数据。