从mysql错误导入数据 - 管道已终止

Question

通过kibana将数据从mysql导入弹性搜索 收到警告 - 忽略'pipelines.yml'文件，因为指定了模块或命令行选项

和  管道已终止{：pipeline_id =＆gt;“main”，：thread =＆gt;“＃”}

和我的conf

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}


output{
   stdout { codec => json_lines }
  elasticsearch {
 "hosts" => "localhost:9200"
  "index" => "test-migrate"
  "document_type" => "data"
  }
}

对此有何解决方案？

Answer 1

默认情况下，如果您在不使用调度的情况下运行单个查询，则在处理查询后将终止logstash管道。 您需要在jdbc输入中启用Scheduling以定期运行它，如下所示，

input {
  jdbc {
    jdbc_driver_library => "mysql-connector-java-5.1.46-bin.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    schedule => "0 * * * *"
    jdbc_user => "root"
    jdbc_password => "***"
    statement => "SELECT * from Test"
  }
}

这将在每天每小时的第0分钟执行您的查询。 调度的语法非常类似于cron。有关语法和更多详细信息，请查看here。