使用MongoDB和MySQL的Hadoop配置

Question

任何人都可以将示例代码从mongodb提供给rdbs ...我已经尝试过，从mongodb获取数据并在mongodb中输出存储。因为我知道如何在java作业中执行hadoop配置。

我想知道三件事......

1. 哪个hadoop版本支持mongodb和rdbs？
2. 是否可以使用多个集合作为输入......？如果可能的话，我们该怎么做？
3. 我在hadoop中尝试了mongodb查询，它运行正常。但是当我定义了排序或限制时...它无法正常工作......即使它没有从mongodb获取数据......

Answer 1

1. which hadoop version support both mongodb and rdbs?

我相信支持MongoDB的所有Hadoop版本也支持RDBMS（RDBMS实现早于MongoDB）。

有关与MongoDB一起使用的受支持Hadoop版本，请参阅：Building the Adapter。检查版本信息，因为某些Hadoop版本不支持Streaming Connector（即，如果您要使用非JVM语言（如Python）编写作业）。

2. Is it possible to use multiple collections as input...?
If possible, how we can do that?

MongoDB Hadoop Connector v1.0.0不支持多个集合作为输入，但社区中有一些人正在处理此问题（请参阅：Feature/multiple inputs）。

3. I tried mongodb query in hadoop,It's working fine. But when i defined
sort or limit... It is not working properly..even it's not fetching data
from mongodb...

您能举例说明您提供这些选项的方式/位置吗？您是指mongo.input.sort和mongo.input.limit属性吗？

您可能想尝试启用MongoDB中的Database Profiler以确认正在发送查询：

 db.setProfilingLevel(2)