如何创建sqoop mysql到hive分区?

时间:2016-02-02 13:20:47

标签: python mysql hadoop hive sqoop

创建sqoop mysql到hive分区?我需要在我的代码下方清楚解释

    sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21

1 个答案:

答案 0 :(得分:0)

根据你的命令。

sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21

您要将数据库表从mysql导入到hdfs(迁移)。

  • - connect:您正在连接到名为" arun"的数据库。在SQL中。
  • - table:您要迁移的SQLtable的名称" account"
  • - 用户名& --password:MySQL服务器的用户名和密码。
  • -m:用于迁移数据的映射器数。
  • - hive-partition-key:分区的hive字段名称(在你的例子中为name字段)
  • - hive-partiton-value:字符串值(arun),用作此作业中导入到配置单元的分区键
  • - create-hive-table:如果设置,则在目标配置单元表退出时作业将失败。默认情况下,此属性为false
  • - hive-table:数据存储在hive中的表的名称
  • - target-dir:hdfs中存储从SQL迁移的数据的目录名称。

希望这有帮助! :)