sqoop导出失败通过oozie

时间:2012-07-19 06:48:44

标签: hadoop sqoop oozie

我正在尝试从mysqhdfs将数据导出到sqoop l。我能够通过shell运行sqoop,它工作正常。但是当我通过oozie调用时。它出现以下错误并失败。我还包括罐子。没有解密日志

sqoop脚本:

export  --connect jdbc:mysql://localhost/bigdata --username root --password cloudera --verbose --table AGGREGATED_METRICS --input-fields-terminated-by '\0001' --export-dir /bigdata/aggregated_metrics

错误:

Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

5 个答案:

答案 0 :(得分:2)

你在Oozie看到的错误通常不会提供太多细节。要获得有关出错的更多信息,您可以从Oozie操作中获取job_id并在JobTracker日志中搜索它。在那里你会找到更详细的描述。

答案 1 :(得分:1)

我相信您需要将所有依赖项的Sqoop jar安装到Oozie中(无论是共享目录还是特定工作流程)。

答案 2 :(得分:0)

我有同样的问题。当我将mysql-connector-java.jar库添加到位于job.properties和workflow.xml文件所在的oozie项目根目录内的lib目录中时,这个问题就消失了。

答案 3 :(得分:0)

是的,将mysql-connector-java - * .jar添加到工作流lib目录可以解决问题。 但是很难为每个sqoop工作复制jar。

添加mysql-connector-java - * .jar一次在HDFS中共享/ lib / sqoop目录更好。

答案 4 :(得分:0)

此处的错误消息不够详细。 另一件事是,在工作流sqoop操作中,可以尝试使用

\0001

而不是

'\0001'