使用数据导入处理程序将数据上传到Solr

时间:2019-03-05 17:07:21

标签: xml solr wikipedia dataimporthandler

嗨,我正在努力使用数据导入处理程序将数据上传到solr上。我正在做的是使用服务器文件夹中的命令启动solr服务器

solr start

然后,这允许我在计算机上打开一个本地主机,其中显示了我之前设置的核心。

Screenshot of solr running on computer

然后我编辑了文件solrconfig.xml和schema.xml

在solrconfig.xml中,我将以下代码行放入

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-dataimporthandler-.*.jar" /> 

<schemaFactory class="ClassicIndexSchemaFactory"/>

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler" startup="lazy">
<lst name="defaults">
    <str name="config">data-config.xml</str>
</lst>

我在schema.xml(从托管模式文件重命名)中添加了

<field name="_version_" type="plong" indexed="true" stored="true"/>
<field name="id" type="string" indexed="true" stored="true" required="true"/>
<field name="title" type="string" indexed="true" stored="true"/>
<field name="revision" type="pint" indexed="true" stored="false"/>
<field name="user" type="string" indexed="true" stored="false"/>
<field name="userId" type="pint" indexed="true" stored="false"/>
<field name="text" type="text_en" indexed="true" stored="false"/>
<uniqueKey>id</uniqueKey>

然后我用以下代码创建了一个data-config.xml文件

<dataConfig>
<dataSource type="FileDataSource" encoding="UTF-8"/>
<document>
    <entity name="page"
            processor="XPathEntityProcessor"
            stream="true"
            forEach="/mediawiki/page"
            url="/Volumes/BACKUP/enwiki-latest-pages-articles.xml"
            transformer="RegexTransformer,DateFormatTransformer"
            >
        <field column="id" xpath="/mediawiki/page/id" />
        <field column="title" xpath="/mediawiki/page/title" />
        <field column="revision" xpath="/mediawiki/page/revision/id" />
        <field column="user" xpath="/mediawiki/page/revision/contributor/username" />
        <field column="userId" xpath="/mediawiki/page/revision/contributor/id" />
        <field column="text" xpath="/mediawiki/page/revision/text" />
        <field column="timestamp" xpath="/mediawiki/page/revision/timestamp" dateTimeFormat="yyyy-MM-dd'T'hh:mm:ss'Z'" />
        <field column="$skipDoc" regex="^#REDIRECT .*" replaceWith="true" souceColName="text"/>
    </entity>
</document>

这里,我希望索引的xml存储在计算机上的外部硬盘驱动器上。除非我在浏览器中输入以下内容,否则一切似乎都运行良好

http://localhost:8983/solr/wiki/dataimport?command=full-import

并显示以下内容

full-import logging

有人知道如何解决此问题吗?我正在使用solr 7.7,所有关于Stackoverflow的问题似乎都针对较早的版本。我要遵循的教程是https://www.youtube.com/watch?v=2VkFQTqrRYo&t=310s,它很旧,所以我认为这就是为什么我会收到此错误。

2 个答案:

答案 0 :(得分:0)

错误说明了一切... clasNotFoundException ...检查您的类路径,看起来DataImportHandler不在您的类路径中...

<lib dir="../../../dist/" regex="apache-solr-dataimporthandler-.*\.jar" />

更改配置后,重新启动码头服务器。

答案 1 :(得分:0)

原来我要做的就是更改solrconfig.xml:

<updateRequestProcessorChain name="add-unknown-fields-to-the-schema" default="${update.autoCreateFields:false}"

(用假代替真)