如何使用MS Splunk Add-on更改来自Azure日志的Splunk导入行为

时间:2017-08-03 14:58:55

标签: azure splunk

我设置了一些webjobs并部署到Azure,并且System.Diagnostics.Trace输出自动上传到(blob db)/(服务名称)/(年)/(月)/(日)/(小时) /(实例的编号) - (PID).applicationLog.csv

我有MS Splunk附加组件读取这些blob,如下所示:         http://docs.splunk.com/Documentation/AddOns/released/MSCloudServices/Configureinputs5

导入工作正常,所以现在我正在寻找一种方法来改变默认行为:

  1. Splunk将数据来源报告为完整的blob名称,例如“MyService / 2017/07/15 / 1234-5678.applicationLog.csv”
  2. 所需:Splunk仅将服务名称报告给数据源,例如“MyService”。这将使搜索源更容易

    1. 上安装了主机Splunk时,Splunk会向主机报告数据

      Desired:Splunk将主机报告为(instance-id),它位于导入文件的名称中,位于文件的每一行内。

      1. (这是最重要的一个!)Splunk将数据的时间报告为通过加载项导入Splunk的时间。
      2. Desired:Splunk报告日志的时间;此值位于.csv文件的有效内容中

        这里有什么想法吗?

1 个答案:

答案 0 :(得分:0)

问题1 ..您为什么要更改源位置? Splunk最佳实践要求将整个路径放在源代码中,更好的搜索方法是指定源类型。如果您真的想改变源代码,那么可以使用host_segment。这可以在转发器上的inputs.conf中完成。

https://answers.splunk.com/topics/host_segment.html

问题2 ..您可以通过编辑转发器计算机上的inputs.conf来覆盖任何主机值。 opt/splunkforwarder/etc/system/local优先于所有其他路径,应该避免。一个更好的地方是/opt/splunkforwader/etc/apps/search/local。修改其中的inputs.conf并重新启动splunkd后,您应该会看到更改生效

问题3 ..这是什么类型的数据?您是否将网络流量直接传输到Splunk或转发日志文件?如果是后者,这些日志文件是否具有与之关联的正确日期和时间?如果是,那么您需要修改索引器上的props.conf以标识时间戳。