我想使用Apache Sqoop以AVRO格式将数据从MySql数据库导入HDFS。我想在自定义avro模式中导入数据,因为我的表之间有连接条件。 首先,我编写了一个sqoop命令,仅从一个表中导入数据,并使用--jar-file选项和avro的--class-name选项将jar文件提供给java生成的类文件。
我使用的命令是这样的:
sqoop导入—连接jdbc:mysql:-用户名-密码-表人员--target-dir人员/记录/ 4 --as-avrodatafile --m 4 --jar-file --class-name <.JAVA_CLASS_IN_THE_JAR_FILE>
我已将jar文件复制到我的用户主目录中,并从那里运行命令。
当我向上面的命令运行时,我得到以下错误:
错误工具。ImportTool:导入失败:java.io.IOException:无法将jar加载到JVM中。 (找不到类com.xxx.xxxx.xxx.models.Personnel.java。)
如果有人请帮助我解决错误并告诉我如何使用Sqoop命令在JVM中设置jar文件,我将不胜感激。