从MySQL中选择表名作为HDFS的文件

时间:2017-03-07 22:43:05

标签: mysql hadoop hdfs sqoop

在MySQL数据库中,我有100个表。一些表名的结尾类似于下面的

123_testing
124_testing
125_testing_10
and so on

现在我想选择以_testing结尾的表格,并将结果作为hdfs中的文件。

我想将表名作为文件sqoop到HDFS。

我们怎么能这样做。

我可以使用sqoop list-tables,但它会为我提供所有表格和本地计算机的结果。我们无法使用此指定--target-dir选项。

1 个答案:

答案 0 :(得分:3)

list-tables不接受--target-dir参数。

表名在MySQL的information_schema数据库中可用。此查询将获取db_name中以_testing结尾的表格。

select TABLE_NAME from TABLES where TABLE_SCHEMA='db_name' and TABLE_NAME like '%_testing';

将此查询与--query中的sqoop-import参数一起使用,然后使用--target-dir