我已经安装了Cloudera CDH QuickStart VM 5.5,并且我在我的Oozie工作流程中运行了Sqoop操作。我遇到一个错误,说MySQL JDBC驱动程序丢失了,我遇到了一个SO答案here,它说mysql-connector-java.jar应放在Oozie的HDFS共享库路径中{ {1}}路径。
但是,当我浏览Oozie的HDFS共享库路径时,我注意到有两个sqoop
子目录要复制jar。
sqoop
和
/user/oozie/share/lib/sqoop
除了/user/oozie/share/lib/lib_20151118030154/sqoop
,sqoop
,hive
,pig
和distcp
路径同时存在mapreduce-streaming
和lib
}。
所以问题是:我在哪里放置连接器jar:在第一个还是第二个?
与lib/lib_20151118030154
,sqoop
,hive
,pig
和distcp
的广告相关的这两个路径的差异(或目的差异)是什么? Oozie mapreduce-streaming
?
答案 0 :(得分:1)
截至18-NOV-2015,lib_20151118030154
子目录将是ShareLibs的当前版本。版本控制允许您在不停止Oozie服务的情况下进行更新 - 请查看文档here。
换句话说:Oozie服务在内存中保存每个ShareLib中的JAR列表(基于启动时最新版本的内容),因此在之前添加JAR不会产生任何影响(a)停止/重启服务或(b)重新同步服务,如上文所述。