我知道可以通过hadoop从mongodb读取和写入数据。
我想知道这个适配器从mongodb集合读取数据时是否使用mongodb的本机驱动程序,所以它使用mongod实例或者这个适配器读取directy数据集合?
当hadoop读取mongodb的数据在地图中处理减少时,hadoop的这个地图减少不会锁定mongodb的数据集合?
换句话说,当hadoop读取mongodb的数据时,hadoop为hadoop使用保存这个数据,而hadoop不会干扰mongodb数据,因为当hadoop执行mapreduce时它通过mongodb处理数据检索但是在hadoop中保存内部进行处理?
答案 0 :(得分:1)
使用mongo-hadoop插件在Hadoop中缓存或保存数据。
相反,每个块都作为单独的输入拆分读入Hadoop,以便对Hadoop MapReduce作业进行并列化。
mongodb中唯一的锁定是一个轻读锁定,因为从Mongo读取数据。