更改sqoop元数据并将其放在mysql db中

时间:2017-05-10 05:03:05

标签: sqoop

我计划将sqoop Metastore更改为mysql db(使用hadoop 2.65,mysql 5.7,sqoop 1.4.6)

通过defalut存储sqoop Metastore,就像sqoop作业定义一样(如hive元数据将存储在derby db中)..

创建了sqoop作业,并且能够通过sqoop job查看那些作业 - 也可以执行这些作业,如何确认所有元数据都将存储在mysql中..

我通过谷歌没有得到好的,可以任何一个请提供良好的文档或谷歌链接

提前致谢

1 个答案:

答案 0 :(得分:0)

检查 sqoop-site.xml 以获取 sqoop.metastore.server.location 参数。它将告诉您如何配置Sqoop以使用Metastore。

您可以将 sqoop.metastore.client.autoconnect.url 配置为指向您的Metastore,然后创建并执行已保存的作业。

通常,我们有两个选项w.r.t metastore:

  • 内部Metastore - 由sqoop维护并在hsqldb上构建
  • 外部Metastore - 如Hive Metastore

如果您可以在此发布您的观察结果(以及代码),以便其他人参考,那就太棒了。