如何记录nutch插件的执行情况

时间:2012-01-16 08:23:11

标签: java plugins solr nutch web-crawler

我正在努力构建具有特殊要求的自定义nutch插件。

我在hadoop.log中找到了我的插件,但它没有相关性。

我在代码的不同位置添加了LOG.debug("test")LOG.info("test2"),我在log4j.properties写了

# Logging for development
log4j.logger.org.apache.nutch.parse.html=DEBUG

我的问题是:我在哪里可以找到这些消息,我已经检查过hadoop.log但我找不到任何内容?

如何记录/跟踪我的java代码? (我没有使用eclipse。)

由于

2 个答案:

答案 0 :(得分:1)

由此代码解决

 import org.slf4j.Logger;
 import org.slf4j.LoggerFactory;
 public static final Logger LOG = LoggerFactory.getLogger("org.apache.nutch.parse.html");

答案 1 :(得分:0)

如果你的插件有类Variable

public static final Log LOG = LogFactory.getLog(YourClass.class
        .getName());

你的被叫方法有:

LOG.info("Your Logmessage");

你已经构建了你的插件并配置Nutch在获取/抓取时使用你的插件/ ...然后在hadoop.log中记录消息。

当你构建Nutch时,是否说它正在构建你的插件?

如果是,您可以检查您的插件配置,该配置部署到NutchHome / runtime / local / conf / nutch-site.xml:

<property>
<name>plugin.includes</name>
<value>protocol-http|urlfilter-regex|parse-(html)|yourplugin</value>
<description>The plugins which are used in every crawl ordered by call-  order</description>
</property>

如果您的插件是在运行时环境中配置的。如果没有更改配置文件和重建Nutch。如果这没有帮助,你可以给我一些更多的信息。