Question

我已经安装了Hadoop并且测试正常，但无法在

上找到任何关于n00b的说明

如何设置级联和cascading.jruby。放置级联罐的位置以及如何配置jading以正确构建ruby组件？

是否有人使用jenkins自动构建？

编辑：更多细节我正在尝试从https://github.com/etsy/cascading.jruby

构建示例字计数作业

我已经安装了

hadoop，并成功运行测试。
已安装jruby
gem install cascading.jruby
jade - https://github.com/etsy/jading
安装了蚂蚁
创建了wordcount示例wc.rb
运行jade将wc.rb编译为jar

jade wc.rb
我收到以下编译错误

Buildfile：build.xml不存在！构建失败 RuntimeError：Ant检索失败（root）at / usr / bin / hjade：89

查看jade代码是有道理的，但是示例用法中没有涉及到这一点？我在这里缺少什么？

Answer 1

抱歉延误;这是我的第一个答案。

您描述的问题，Jading在从符号链接调用时无法找到其Ant构建脚本，确实是一个问题。我建议您只将Jading克隆添加到PATH而不是创建符号链接（或提交拉取请求来修复issue！）。

为了解决您的其他一些问题，我在Jading wiki中创建了一个Getting Started页面，可能会有所帮助。它将指导您启动并运行本地和远程cascading.jruby作业，而无需安装除preqs之外的任何内容（Java，Ant，JRuby和Hadoop客户端+配置）。现在包括一个完整的示例wordcount脚本，该脚本应该在本地和Hadoop集群上运行，并且已经在Etsy自己的内部集群上进行了测试。

还要进一步备份以解决关于Jenkins的问题，是的，在Etsy，我们使用Jenkins构建并将cascading.jruby（和Scalding）部署到我们的集群。但是，该构建过程当前不使用Jading来生成作业jar。我们的构建早于Jading和Jading是尝试发布我们制作该jar的过程的更清洁版本。我们的构建可以很容易地使用Jading（原始示例来自我们代码的实际用法），但是我们对构建产生的工件的要求略有不同。

如果您对Jading有任何其他问题，请随时向github项目提交问题或提出请求。

Answer 2

如果你正在使用jruby。您也必须使用捆绑包。在这种情况下，您可以在gemfile中添加cascading.jruby作为依赖项。

你可以尝试从项目文件夹中安装：

gem install 'cascading.jruby'

希望这有助于。

Answer 3

我现在已经结束了工作。我在/ usr / local / bin

中为hadoop，jading二进制文件创建了符号链接

脚本需要从他们自己的目录运行才能找到支持文件

即。以下工作:(假设cascading.jruby示例位于〜/ dev / cascading.jruby.demo / wc.rb

cd /usr/local/jading
./jade ~/dev/cascading.jruby.demo/wc.rb

# creates a jade.jar locally in jading folder
cd /usr/local/hadoop
./bin/hadoop jar /usr/local/jading/jade.jar ~/dev/cascading.jruby.demo/wc.rb ~/dev/cascading.jruby.demo/sampledata/in.txt

在哪里可以找到安装和运行cascading.jruby的教程？

3 个答案: