如何为csv输入文件安排logstash

Question

我有一个每小时更新一次的csv文件，我需要将其上传到kibana，我想安排logstash以使其在kibana中每小时更新一次。我搜索了很多论坛，但发现了有关JDBC输入调度的信息，但不适用于csv输入。

Answer 1

您必须编写自己的logstash pipleline配置。根据如何读取输入，在哪里输出数据。 Kibana是一种可视化工具。数据通常会在ElasticSearch中提取，然后在Kibana仪表板中查看。一旦发布，日志日志就会读取管道配置。下面提供了一个示例管道配置，该配置从kafka主题读取csv数据，然后推送到ES。

input {

  kafka{
    id => "test_id"
    group_id => "test-consumer-group"
    topics => ["test_metrics"]
    bootstrap_servers => "kafka:9092"
    consumer_threads => 1
    codec => line
  }
}
filter {
  csv {
     separator => ","
     columns => ["timestamp","field1", "field2"]
  }
}
output {
    elasticsearch {
        hosts => [ "elasticsearch:9200" ]
        index => "_my_metrics"
    }
}

Answer 2

请参考下面的链接，以通过Logstash和SinceDb将数据从CSV导入Elasticsearch。

https://qbox.io/blog/import-csv-elasticsearch-logstash-sincedb

有关更多CSV过滤器插件配置的信息，请参见下面的链接。

https://www.elastic.co/guide/en/logstash/current/plugins-filters-csv.html#plugins-filters-csv-columns

希望有帮助！