Question

我有ES 2.2并为Elasticsearch elasticsearch-jdbc-2.2.0.0安装了JDBC导入器，并且能够插入数据，但不能通过更改mysql来更新ES，即。将mysql与ES同步。我如何进行同步？我执行了以下shell脚本一次，数据插入正确，但调度程序dint工作。它不是每分钟都执行捕获mysql中的任何更改（方案表）。我的剧本有什么问题吗？或任何可用的解决方法？

DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
bin=${DIR}/bin
lib=${DIR}/lib
echo $lib
echo $bin

echo '{
"type" : "jdbc",
"autocommit" : true,
"schedule" : "0 0-59 0-23 ? * *",
"jdbc" : {
"driver": "com.mysql.jdbc.Driver",
"url" : "jdbc:mysql://XXX:3306/blahblah",
"user" : "abc",
"password" : "xyz",
"sql" : "select * from schemes",
"elasticsearch" : {
"cluster" : "mycluster",
"host" : "localhost",
"port" : 9300
},
"max_bulk_actions" : 20000,
"max_concurrent_bulk_requests" : 10,
"index" : "movies",
"type":"scheme"
}
}
' | java -cp "${lib}/*" -Dlog4j.configurationFile=${bin}/log4j2.xml org.xbib.tools.Runner org.xbib.tools.JDBCImporter

Answer 1

我建议使用Logstash jdbc-plugin将MySQL数据同步到Elasticsearch。

从评论中作为对手询问如何将已删除的记录从MySQL同步到Elasticsearch

可能是将已删除的记录从MySQL同步到Elasticsearch的其他一些有效方法:)但我在这里分享我的所作所为。

第1步： 让我们以模式表为例。添加一列以维护该架构的状态。类似status = 0（默认）和status = 1（已删除）。还有一列updated_date。删除任何记录后，将status = 1和updated_date更改为当前日期。

第2步：

我们不需要每次都同步整个数据。索引完整数据一次然后更改mysql查询以获取过去24小时内的记录或适合您的用例的任何时间间隔。

第3步：更改查询以仅提取过去24小时内的数据

 select * from schemes where (updated_date >= FROM_UNIXTIME(UNIX_TIMESTAMP(?)-86400,"%Y-%m-%d"))

现在，您的已删除数据状态将在Elasticsearch索引中更改为status = 1。

因此，您可以查询您的活动记录，例如

{
    "query": {
        "filtered": {
           "filter": {
               "bool": {
                   "must": [
                      {
                          "term": {
                             "status": 1
                          }
                      }
                   ]
               }
           }
        }
    }
}

Answer 2

在2018年，您可以使用“ L4弹性数据迁移工具”

将MySQL迁移到Elastic的最佳方法：L4数据迁移工具：https://gnh1201.wordpress.com/2018/10/09/l4-data-migration-tool-mysql-to-elastic/

在很多情况下，它尝试将数据从关系数据库迁移到REST API或消息队列或JDBC。

但是，在使用Elasticsearch三年之后，我意识到这是一种愚蠢的方式。

我需要另一种方式。上面的链接会有所帮助。

什么是将数据从mysql同步到弹性搜索的最佳方法

2 个答案: