如何将数据从mysql导入Apache Hadoop HDFS安装。

Question

如何将数据从mysql导入HDFS。我不能使用sqoop，因为它是HDFS安装而不是cloudera。我使用下面的链接来设置HDFS。我的hadoop版本是0.20.2 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

Answer 1

与您的问题没有直接关系，但如果您想将数据库用作Map Reduce作业的输入，并且不想复制到HDFS，则可以使用DBInputFormat直接从数据库输入。

Answer 2

除了sqoop，你可以试试hiho。我听说过这件好事。 （虽然从未使用过它）

但我所看到的大部分是人们最终写出他们自己的流程来做到这一点。如果hiho没有解决问题，您可以使用mysqlimport从MySql转储数据。然后使用map-reduce作业或Pig / Hive加载到HDFS中。

我听说Sqoop相当不错并且被广泛使用（这是传闻，我自己从未使用过它）。现在it is an apache incubator project，我认为它可能已经开始支持hadoop的apache版本，或者至少可能使它对非cloudera版本减少痛苦。 The doc确实说它支持Apache hadoop v0.21。尝试使用你的hadoop版本。这可能不是那么困难。