在PIG UDF中调试

Question

我是Hadoop / PIG的新手。 我有一个基本问题。

我们在PIG UDF中有一个Logging工具吗？我写了一个我需要验证的UDF 我需要记录某些语句来检查流程。有可用的测井设施吗？如果是，猪日志在哪里？

Answer 1

假设您的UDF扩展EvalFunc，您可以使用从EvalFunc.getLogger()返回的记录器。日志输出应该在pig执行的相关Map / Reduce任务中可见（如果作业在多个阶段执行，那么您必须通过它们来查找相关的日志条目。）

Answer 2

可能很明显，但我建议在部署到cluster / pseudocluster之前以本地模式调试UDF。这样，您可以在IDE中调试它（在我的情况下是eclipse），这比日志调试更容易。