在Java Webapp中将mysql表复制到hive

时间:2014-06-13 05:01:17

标签: java mysql hadoop jdbc hive

我在mysql中有一个表。我想在蜂巢中复制它。 我正在编写的编程语言是java。我必须在webapp中执行此操作。所以我通过JDBC成功连接到两个数据库。现在的问题是如何导出 - 导入表?

  1. 手动加载 - 将MySQL表导出为csv数据并将该csv数据导入Hive表。对于我来说,现在看起来对我来说是可行的。但不是理想的解决方案。
  2. Sqoop:无法找到可行的实现方式,因此我可以在webapp中执行。
  3. Tungsten Replicator:我发现并阅读了它。看起来不错。但仍在通过webapp搜索实现。

1 个答案:

答案 0 :(得分:0)

Sqoop附带java api,可以集成到您的Web应用程序中进行连接。请仔细阅读以下链接以获取更多详细信息:http://sqoop.apache.org/docs/1.99.2/ClientAPI.html