Question

运行以下命令时，出现错误 -

pp params

我不知道为什么它在寻找HDFS中的avro jar文件。

sqoop import --connect jdbc:mysql://127.0.0.1/hadoopguide --table widgets -m 1和SQOOP_HADOOP_HOME设置为Hadoop目录。我正在使用Hadoop 2.6.0和sqoop版本1.4.5

SQOOP_MAPRED_HOME

Answer 1

确保您的lib文件夹包含以下所有罐子。

[root@sandbox lib]# pwd
/usr/hdp/current/sqoop-client/lib
[root@sandbox lib]# ls -l
total 6832
-rw-r--r-- 1 root root  224135 2015-03-31 21:03 ant-contrib-1.0b3.jar
-rw-r--r-- 1 root root   36427 2015-03-31 21:03 ant-eclipse-1.0-jvm1.2.jar
-rw-r--r-- 1 root root  400090 2015-03-31 21:03 avro-1.7.5.jar
-rw-r--r-- 1 root root  170228 2015-03-31 21:03 avro-mapred-1.7.5-hadoop2.jar
-rw-r--r-- 1 root root  241259 2015-03-31 21:03 commons-compress-1.4.1.jar
-rw-r--r-- 1 root root  108990 2015-03-31 21:03 commons-io-1.4.jar
-rw-r--r-- 1 root root  706015 2015-03-31 21:03 hsqldb-1.8.0.10.jar
-rw-r--r-- 1 root root  229445 2015-03-31 21:03 jackson-core-asl-1.9.13.jar
-rw-r--r-- 1 root root  770013 2015-03-31 21:03 jackson-mapper-asl-1.9.13.jar
lrwxrwxrwx 1 root root      40 2015-04-30 08:50 mysql-connector-java.jar -> /usr/share/java/mysql-connector-java.jar
-rw-r--r-- 1 root root 2714189 2015-10-17 03:09 ojdbc6.jar
-rw-r--r-- 1 root root   29532 2015-03-31 21:03 paranamer-2.3.jar
-rw-r--r-- 1 root root 1245776 2015-03-31 21:03 snappy-java-1.0.5.jar
-rw-r--r-- 1 root root   94608 2015-03-31 21:03 xz-1.0.jar

另请检查 hdfs权限.. 你在哪个用户运行Sqoop ..以及哪个用户对该文件夹有权限。

这个SO问题有更多信息.. java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/home/hduser/sqoop/lib/hsqldb-1.8.0.10.jar

Answer 2

设置HADOOP_HOME和SQOOP_HOME
在hdfs中创建相同的$ SQOOP_HOME / lib目录。

hdfs dfs -mkdir -p $SQOOP_HOME/lib

如果不起作用，请使用完整路径而不是$ SQOOP_HOME
将$ SQOOP_HOME / lib中的所有文件复制到hdfs中的$ SQOOP_HOME / lib。

hdfs dfs -put $SQOOP_HOME/lib /$SQOOP_HOME/lib

将缺失的jar下载并复制到本地和hdfs $ SQOOP_HOME / lib目录

导入时出现sqoop错误

2 个答案: