Opensearchserver数据库爬网

时间:2014-06-09 19:06:43

标签: java mysql jdbc

我有一个包含4列的MySQL表(tbl_test) - id url 标题&的描述即可。表中有39409行。我想将此表索引到Opensearchserver v1.5.3中,我已经使用' web crawler'创建了一个新索引。模板和我的数据库爬虫设置如下: -

General settings

名称: test_crawl

驱动程序类: com.mysql.jdbc.Driver

JDBC网址: jdbc:mysql:// localhost / test_db

隔离级别: TRANSACTION_READ_COMMITTED

用户: root

密码:••••••

语言:英语

缓冲区大小: 100

睡眠(毫秒): 0

主键: id

唯一键(删除): id

SQL选择: SELECT * FROM tbl_test

SQL更新:(空白)

FieldMap settings

SQL Column    Index Field
------------------------------
title         title
description   metaDescription
url           url

当我保存设置并执行抓取过程时,我得到以下内容: -

Name        Execution time    Duration    Status     Info
test_crawl  8:47:44 PM        0:00:00     Complete   0 (0) / 39409 (0)

没有文档添加到索引中。请你告诉我哪里出错了。

谢谢。

1 个答案:

答案 0 :(得分:1)

你需要:

  • 空字段“唯一键(用于删除)”
  • 在表格的主键与架构字段
  • 之间添加字段映射