使用fluentd将CSV数据上传到弹性搜索

时间:2019-12-20 11:49:28

标签: elasticsearch kibana elastic-stack elasticsearch-5 fluentd

我正在使用flunetd。我有一个csv文件,看起来像这样。

enter image description here

我想使用Elastic Search将此CSV文件上传到Fluentd数据库。 这是我使用的流利的配置文件。

<source>
  @type tail
  path /home/paulsteven/Datasets/SalesRecords.csv #...or where you placed your Apache access log
  pos_file /var/log/td-agent/httpd-access.log.pos # This is where you record file position
  tag salesRecords #fluentd tag!
  format csv
  keys Region, Country, Item Type, Sales Channel, Order Priority, Order Date, Order ID, Ship Date, Units Sold # e.g., user_id, timestamp, action
  time_key Ship Date # Specify the column that you want to use as timestamp
</source>

<match **>
  @type elasticsearch
  logstash_format true
  host "localhost" #(optional; default="localhost")
  port 9200 #(optional; default=9200)
  index_name fluent_index #(optional; default=fluentd)
  type_name fluentd_type #(optional; default=fluentd)
</match>

在终端中传递命令之后,我在终端中获得了输出,如下所示,

enter image description here

在我的弹性搜索数据库中创建的名称my_fluentd_index中没有索引。帮助我提供一些解决方案,以使用elastic search

将CSV数据提取到fluentd数据库中

0 个答案:

没有答案