Question

我正在尝试索引大小为7000万行的数据。我正在使用数据导入处理程序从postgreSQL数据库中获取数据。当我执行完全导入命令时，在索引大约3-5百万行后，我看到错误“连接丢失”。当我检查服务器中的solr实例的状态时，我看到它没有活动，它已经死了，端口没有打开。

# service solr status`

找到1个Solr节点：      未找到来自/var/solr/solr-8983.pid的Solr进程45397。

然后我需要每次停止时重新启动solr实例

# service solr start

等待最多30秒才能看到Solr在端口8983上运行[/]
    在端口8983上启动Solr服务器（pid = 47740）。快乐的搜索！

我将套接字超时参数添加到jdbc驱动程序参数，并且还增加了solr.xml中的所有超时参数

下面是我的db-data-config.xml文件。

`<dataConfig>
  <dataSource  type="JdbcDataSource" driver="org.postgresql.Driver" url="jdbc:postgresql://ourdbserveripaddress:5432/dbname" user="username" socketTimeout="0" defaultRowFetchSize="10000" />
    <document >
       <entity name="solr_70m" query="SELECT id, myrecord from solr_70m">
        <field column="id" name="id" />
        <field column="myrecord" name="myrecord" />
       </entity>
    </document>
 </dataConfig>`

连接丢失后，我们可以搜索提交的数据。

你能告诉我加载/索引超过5000万条记录的数据我缺少什么吗？

提前致谢，

Solr：Connection使用数据导入处理程序从postgres DB获取数据时丢失

0 个答案: