我们可以编写MapReduce作业来从oracle和MySql读取数据吗？

Question

我想从Oracle和Mysql中读取数据。然后我需要比较从Oracle和Mysql读取的数据，输出将存储在MSSQL服务器中。我想在c＃中使用MapReduce作业执行所有这些。

如果我已经配置了Hadoop多节点集群并且我正在执行MapReduce作业以从Oracle和MySQL读取数据，那么MapReduce读取的数据将分布在集群中多个节点的内存中。

Answer 1

你可以使用MR做你所说过的所有内容，或者你可以使用一些内置工具。

1. 使用Sqoop从DB读取数据并将其转储到HDFS。
2. 使用MR从HDFS读取数据并执行业务逻辑。
3. MR的输出保存在HDFS中，再次使用SQoop压入DB。

Sqoop是MapReduce的一个包装器，用于将数据拉/推送到数据库。 您始终可以编写自己的自定义MapReduce来执行相同操作。