我正在尝试从mysq
到hdfs
将数据导出到sqoop
l。我能够通过shell运行sqoop,它工作正常。但是当我通过oozie
调用时。它出现以下错误并失败。我还包括罐子。没有解密日志
sqoop脚本:
export --connect jdbc:mysql://localhost/bigdata --username root --password cloudera --verbose --table AGGREGATED_METRICS --input-fields-terminated-by '\0001' --export-dir /bigdata/aggregated_metrics
错误:
Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]
答案 0 :(得分:2)
你在Oozie看到的错误通常不会提供太多细节。要获得有关出错的更多信息,您可以从Oozie操作中获取job_id并在JobTracker日志中搜索它。在那里你会找到更详细的描述。
答案 1 :(得分:1)
我相信您需要将所有依赖项的Sqoop jar安装到Oozie中(无论是共享目录还是特定工作流程)。
答案 2 :(得分:0)
我有同样的问题。当我将mysql-connector-java.jar库添加到位于job.properties和workflow.xml文件所在的oozie项目根目录内的lib目录中时,这个问题就消失了。
答案 3 :(得分:0)
是的,将mysql-connector-java - * .jar添加到工作流lib目录可以解决问题。 但是很难为每个sqoop工作复制jar。
添加mysql-connector-java - * .jar一次在HDFS中共享/ lib / sqoop目录更好。
答案 4 :(得分:0)
此处的错误消息不够详细。 另一件事是,在工作流sqoop操作中,可以尝试使用
\0001
而不是
'\0001'