Question

我有一个文件夹，用户将继续添加用于logstash的csv文件来获取。用户将每天在此文件夹中添加csv文件。 csv文件的名称类似于yyyymmdd-dailyUsageData.csv，即文件名最初只有几个字符作为日期。 csv文件的内容将再次具有此Date值和一些其他列，即Date，colA，colB，colC等。要求是每天将csv文件的内容加载到logstash / elasticSearch中，以便在kibana中创建可视化。

虽然我能够为单个csv文件执行此操作，但我不确定如何将第二天的csv文件（其名称中包含不同的时间戳）的内容附加到索引中已经创建了。下面是我创建的conf文件的示例：

 input {
      file {
        path => "/etc/logstash/20160302-dailyUsageData.csv"
        type => "usageData"
        start_position => "beginning"
        sincedb_path => "/home/ec2-user/mysincedbfile"
      }
    }
    filter {
      csv {
          separator => ","
          columns => ["Date","colA", "colB"]
      }
      mutate {convert => ["colA", "integer"]}
      mutate {convert => ["colB", "float"]}
    }
    output {  
        elasticsearch {
            action => "index"
            hosts => "localhost:9200"
            index => "dailyUsage"
        workers => 1
        }
        stdout {}
    }

Answer 1

您的file输入只能使用a pattern for the path而不是单个文件

  file {
    path => "/etc/logstash/*.csv"
    type => "usageData"
    start_position => "beginning"
    sincedb_path => "/home/ec2-user/mysincedbfile"
  }

将csv内容附加到现有的logstash索引

1 个答案: