排除cascalog

时间:2012-10-17 12:22:05

标签: clojure hadoop

我是一个新的Clojure / Cascalog用户试图迁移一些猪脚本,但我常常在repl中收到如下错误。

FlowException本地步骤失败cascading.flow.planner.FlowStepJob.blockOnJob(FlowStepJob.java:191)

“with-debug”提供了更多信息,但仍然没有问题的根本原因。关于如何改进这个的任何想法?

1 个答案:

答案 0 :(得分:4)

我同意堆栈跟踪有时非常无益。我可以建议的一件事是编写单元测试:http://sritchie.github.com/2011/09/30/testing-cascalog-with-midje.html,它会明显缩小您实际问题所在的位置。

如果您的查询适用于基本情况但是对大数据失败,您可以添加陷阱,以查看导致失败的输入:

(<- .... (:trap (hfs-textline "s3://.../errors" :sinkmode :replace)))