Question

我在抓取时写一个nutch插件。我正在对获取的网页进行一些分析，结果将存储在与网页对应的hbase中。我不知道如何添加额外的字段以及如何使用nutch将数据写入该字段。

Answer 1

如果您想在Solr ::

中建立索引时添加其他字段

如果附加字段的值固定（Static），则可以使用Nutch的index-static插件。

它允许您添加许多字段及其内容。

第1步：

首先需要在nutch-site.xml中启用index.static属性

第2步：

添加index.static属性

<property>
 <name>index.static</name>
 <value>first_field:value,second_field:value</value>
 <description>
  Used by plugin index-static to adds fields with static data at indexing time. 
   You can specify a comma-separated list of fieldname:fieldcontent per Nutch job.
  Each fieldcontent can have multiple values separated by space, e.g.,
   field1:value1.1 value1.2 value1.3,field2:value2.1 value2.2 ...
   It can be useful when collections can't be created by URL patterns, 
  like in subcollection, but on a job-basis.
  </description>
</property>

第3步：

在schema.xml中添加字段定义

第4步：

在plugin.includes中启用了索引

或您可以关注https://wiki.apache.org/nutch/WritingPluginExample-1.2编写插件

如何通过nutch在hbase中添加额外的字段？

1 个答案: