将SQL Server表导入HDFS

Question

我是Hadoop的新手，我对使用sqoop将表从SQL Server导入hdfs几乎没有疑问：

1. 如何使用sqoop和任何其他方式将整个数据库导入hadoop。
2. 如何导入没有主键的单个表，或者是否可以导入没有主键的SQL Server表。

Answer 1

1. 如何使用sqoop和其他任何方式将整个数据库导入hadoop 方式。

   您可以使用sqoop-import-all-tables来执行此操作。其他方式会 是使用 DBInputFormat 编写自己的工作。

2. 如何导入没有主键或是的单个表 可以导入没有主键的SQL Server表。

   您可以使用 - 拆分指定主键列以外的列。

Answer 2

对于第二个问题 - 如何导入没有主键的单个表，或者是否可以导入没有主键的SQL Server表。

当我们导入的表没有主键时，我们需要在命令中指定要使用多少映射器。这可以通过sqoop import

中的选项“-m”或“--Split-by”指定

例如：

$ bin / sqoop import -connect jdbc：mysql：// localhost：3306 / db1 -username root -password password --table tableName --target -dir / user / tableName -m 1