Question

我有一个数据源，一个只读SQL Server，并且通过组合该服务器中的表来制作日志，因此我需要将其上载Elastic Search。

为此，我需要对数据源进行API调用，然后在Logstash中进行数据转换，然后将其上载到ES。

我以前用SQL进行过几次数据转换。在SQL中，我会 JOIN 几个表并将 INSERT 查询结果放入日志表，但是在此设置中我没有SQL选项，我需要在其中进行转换logstash。

我要的是关于logstash的最佳实践建议。

Answer 1

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.38-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost/student?user=root&password="
    jdbc_user => "Croos"
    parameters => {
    }

    schedule => "* * * * *"
    statement => "SELECT * from subject WHERE id > :sql_last_value"
    use_column_value => true
    tracking_column => id
  }
}

output {
  elasticsearch {
    hosts => ["localhost:9200"]
  }
}

此link可能对您有帮助。

Logstash中的数据转换

1 个答案: