如何在预先存在的SQL数据库之上使用Elastic Search?

时间:2013-07-25 11:15:12

标签: php javascript sql json elasticsearch

我一直在阅读很多关于如何在网站上使用javascript或PHP实现弹性搜索的好文档。

非常好introduction to ES

非常完整的文档herehere

整个CRUD

使用PHP进行弹性搜索:hereherehere

因此,我为您提供这些网址的原因是为了了解如何在拥有预先存在的SQL数据库时使用其中一个或多个优秀文档。

我在某处错过了一点:正如他们说Elasticsearch将使用MongoDB创建自己的索引和数据库,我不明白如何使用SQL来使用我的(巨大的)数据库?假设我有一个MySQL数据库,我想使用Elasticsearch使我的研究更快,并提出用户预先制作的查询,我该怎么做? ES如何在MySQL上工作?如何将这个巨大的数据集(超过8GB)传输到ES DB中,以便在开始时充分发挥效率?

非常感谢

2 个答案:

答案 0 :(得分:21)

我正在使用jdbc-river w / mysql。它非常快。您可以将它们配置为持续轮询数据,或使用一次性(一次性策略)导入。

e.g。

curl -xPUT http://es-server:9200/_river/my_river/_meta -d '
{
    "type" : "jdbc",
    "jdbc" : {
        "strategy" : "simple",
        "poll" : "5s",
        "scale" : 0,
        "autocommit" : false,
        "fetchsize" : 10,
        "max_rows" : 0,
        "max_retries" : 3,
        "max_retries_wait" : "10s",
        "driver" : "com.mysql.jdbc.Driver",
        "url" : "jdbc:mysql://mysql-server:3306/mydb",
        "user" : "root",
        "password" : "password*",
        "sql" : "select c.id, c.brandCode, c.companyCode from category c"
    },
    "index" : {
        "index" : "mainIndex",
        "type" : "category",
        "bulk_size" : 30,
        "max_bulk_requests" : 100,
        "index_settings" : null,
        "type_mapping" : null,
        "versioning" : false,
        "acknowledge" : false
    }
}'

答案 1 :(得分:4)

如果您需要一个更高效且可扩展的jdbc-river提供的轮询解决方案,我建议您观看此演示文稿,该演示文稿说明如何从SQL Server执行增量同步到弹性搜索:

视频中讨论的原则也适用于其他RDBMS - > NoSQL复制应用程序。