Question

我们在cdh5.2.4上以分布式模式运行mlcp.sh，作业始终在本地运行，而不是提交给yarn / resource manager。有人在mlcp成功实施cdh5+吗？

我们使用的是marklogic-contentpump-1.0.5.jar

 bin/mlcp.sh export 
-host xxx.xx.xx.xxx 
-port xxxx 
-username <user> 
-password xxxxx 
-output_type sequence 
-compress_type record 
-output_file_path /tmp 
-mode distributed 
-job_queue cp11 
-query_type unfiltered 
-max_split_size 500 
-query_config file.properties 
-after_ts 2015-01-01T16:55:05-04:00 
-before_ts 2015-04-10T17:55:37-04:00  
-perm_path /data/mlcp

Answer 1

在从客户端-0.20更改为纱线客户端

后修复

使用hadoop-client软件包中提供的JAR文件确保将/usr/lib/hadoop/client-0.20（针对MRv1 API）或/usr/lib/hadoop/client（针对YARN）下提供的所有JAR文件添加到项目中。

例如，您可以将此位置添加到JVM类路径：

$ export CLASSPATH=/usr/lib/hadoop/client-0.20/\*

marklogic内容泵纱支持

1 个答案: