Question

我正在尝试通过Bluemix solr索引nutch抓取的数据。我在命令提示符中使用了以下命令：

bin / nutch index -D solr.server.url =“https://gateway.watsonplatform.net/retrieve-and-rank/api/v1/solr_clusters/CLUSTER-ID/solr/admin/collections -D solr .auth = true -D solr.auth.username =“USERNAME”-D solr.auth.password =“PASS”Crawl / crawldb -linkdb Crawl / linkdb Crawl / segments / 2016 *

但它未能完成索引。结果如下：

Indexer: starting at 2016-06-16 16:31:50
Indexer: deleting gone documents: false
Indexer: URL filtering: false
Indexer: URL normalizing: false
Active IndexWriters :
SolrIndexWriter
        solr.server.type : Type of SolrServer to communicate with (default 'http' however options include 'cloud', 'lb' and 'concurrent')
        solr.server.url : URL of the Solr instance (mandatory)
        solr.zookeeper.url : URL of the Zookeeper URL (mandatory if 'cloud' value for solr.server.type)
        solr.loadbalance.urls : Comma-separated string of Solr server strings to be used (madatory if 'lb' value for solr.server.type)
        solr.mapping.file : name of the mapping file for fields (default solrindex-mapping.xml)
        solr.commit.size : buffer size when sending to Solr (default 1000)
        solr.auth : use authentication (default false)
        solr.auth.username : username for authentication
        solr.auth.password : password for authentication
Indexing 153 documents
Indexing 153 documents
Indexer: java.io.IOException: Job failed!
        at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:836)
        at org.apache.nutch.indexer.IndexingJob.index(IndexingJob.java:145)
        at org.apache.nutch.indexer.IndexingJob.run(IndexingJob.java:222)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.nutch.indexer.IndexingJob.main(IndexingJob.java:231)

我想这与solr.server.url地址有关，可能就是它的结尾。我用不同的方式改变了它例如

“https://gateway.watsonplatform.net/retrieve-and-rank/api/v1/solr_clusters/CLUSTER-ID/solr/example_collection/update”。

（因为它用于通过Bluemix Solr索引JSON / CSV / ...文件）。但现在没有机会。

任何人都知道如何解决它？如果问题是我猜测的，那么任何人都知道solr.server.url到底应该是什么？顺便说一句，“example_collection”是我的集合名称，我正在使用nutch1.11。

Answer 1

据我所知，通过nutch本身提供的索引命令（bin / nutch index ...）索引Bluemix R＆amp; R中的nutch爬行数据是不可能的。我意识到，要在Bluemix Retrieve和Rank服务中索引nutch爬行数据，应该：

用nutch爬行种子，例如

$：bin / crawl -w 5 urls crawl 25

您可以使用以下方式检查抓取的状态：

bin / nutch readdb crawl / crawldb / -stats

转储已抓取的数据文件：

$：bin / nutch dump -flatdir -outputDir dumpData / -segment crawl / segments /

将那些可能的例如xml文件发布到solve Collection on Retrieve和Rank：

Post_url = '"https://gateway.watsonplatform.net/retrieve-and-rank/api/v1/solr_clusters/%s/solr/%s/update"' %(solr_cluster_id, solr_collection_name)
cmd ='''curl -X POST -H %s -u %s %s --data-binary @%s''' %(Cont_type_xml, solr_credentials, Post_url, myfilename)          
subprocess.call(cmd,shell=True)

使用Bluemix Doc-Conv服务将其余部分转换为json：

doc_conv_url = '"https://gateway.watsonplatform.net/document-conversion/api/v1/convert_document?version=2015-12-15"'
cmd ='''curl -X POST -u %s -F config="{\\"conversion_target\\":\\"answer_units\\"}" -F file=@%s %s''' %(doc_conv_credentials, myfilename, doc_conv_url)
process = subprocess.Popen(cmd, shell= True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

然后将这些Json结果保存在json文件中。

将此json文件发布到集合：

Post_converted_url = '"https://gateway.watsonplatform.net/retrieve-and-rank/api/v1/solr_clusters/%s/solr/%s/update/json/docs?commit=true&split=/answer_units/id&f=id:/answer_units/id&f=title:/answer_units/title&f=body:/answer_units/content/text"' %(solr_cluster_id, solr_collection_name)
cmd ='''curl -X POST -H %s -u %s %s --data-binary @%s''' %(Cont_type_json, solr_credentials, Post_converted_url, Path_jsonFile)
subprocess.call(cmd,shell=True)

发送查询：

pysolr_client = retrieve_and_rank.get_pysolr_client(solr_cluster_id, solr_collection_name)
results = pysolr_client.search(Query_term)
print(results.docs)

代码在python中。

对于初学者：您可以直接在CMD中使用curl命令。我希望它可以帮助别人。

Answer 2

像这样：

nutch index -Dsolr.server.url=http://username:password@localhost:8983/solr/nutch crawl/crawldb/ -linkdb crawl/linkdb/ crawl/segments/20170816191100/ -filter -normalize -deleteGone

它有效。

在“Bluemix”solr中索引nutch已爬网数据时，Indexer IOException作业失败

2 个答案: