我正试图在hadoop 2.6.0
上使用Giraph纱线。
我设法通过删除STATIC_SASL_SYMBOL
中<munge.symbols>
中的yarn profile
来构建它。使用命令:
sudo mvn -Phadoop_yarn -Dhadoop.version=2.6.0 -DskipTests package
然后我用hadoop 2.6.0设置了一个单节点集群,我能够执行基本的wordcount示例。
我已经复制了内置在share/hadoop/mapreduce
目录中的jar,以删除GiraphMaster
未找到的execption。
现在我正在尝试使用以下命令运行SimpleShortestPaths
示例:
$HADOOP_PREFIX/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip input_tiny2.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths445 -w 1 -ca giraph.SplitMasterWorker=false -yj giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar
使用的数据是giraph快速启动页面上的小图表,作业应该需要几分钟才能完成,但事实并非如此。
完整日志位于http://pastebin.com/CW1FnWz2
有可能让hadoop 2.6.0上的giraph工作,还是我必须使用早期版本?如果是的话,你会建议哪一个?