如何使用logstash将数据从mysql数据库同步到elasticsearch:仅按国家/地区索引新数据和索引?

时间:2016-12-26 19:36:38

标签: mysql elasticsearch logstash

我可以指定启动syncrhonize的ID吗?为了不重新索引所有数据,我可以在不同情景中指定不同的索引,例如,按国家/地区索引吗? 这是我的logstach conf:

# file: contacts-index-logstash.conf
input {
  jdbc {
    jdbc_driver_library => "/home/peter/Downloads/mysql-connector-java-5.1.40-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost/MYJOBS"
    jdbc_user => "readuser"
    jdbc_password => "xxxx"
#    schedule => "* * * * *"
    statement => "SELECT af.IdAnuncio as idanuncio, af.Titulo, af.Descripcion, af.Empresa, p.Abreviatura, 
        pr.Nombre as Provincia, cd.Nombre as Ciudad, af.Localidad
            FROM  `ANUNCIO_FORM` af
            INNER JOIN PAIS p ON p.Id = IdPais
            INNER JOIN PROVINCIA pr ON pr.Id = af.IdProvincia
            INNER JOIN CIUDAD cd ON cd.Id = af.IdCiudad
            WHERE af.IdAnuncio >0
            AND af.Fecha_de_publicacion >  '2016-12-01'
            AND af.Estado =1"
  }
}
output {
    stdout { codec => json_lines }
    elasticsearch {
        index => "anuncios"
        document_type => "internos"
        document_id => "%{idanuncio}"
        hosts => "localhost:9200"
    }
}

提前致谢。

PD。英语不是我的第一语言,所以请原谅任何错误。

0 个答案:

没有答案