Question

我有一个Web访问CSV文件，其中包含一些看起来像这样的统计信息（通常大约有20K记录，但这只是一个只有6条记录的例子）：

servlet name, HTTP RC, response time, request timestamp
/servlet_A,200,3,[10/Nov/2013:11:00:12 +0000]
/servlet_B,302,10,[10/Nov/2013:11:00:12 +0000]
/servlet_C,200,17,[10/Nov/2013:11:00:12 +0000]
/servlet_A,200,30,[10/Nov/2013:11:00:15 +0000]
/servlet_B,302,16,[10/Nov/2013:11:00:15 +0000]
/servlet_C,200,11,[10/Nov/2013:11:00:15 +0000]

我需要将其解析为以下格式：

servlet name, requests count with latency in range 0-5, latency range 6-10, latency range 11-15, ...., latency range 196-200, HTTP 200 count, HTTP 302 count
servlet_A,1,0,0,0,0,1,0,....,2,0
servlet_B,0,1,0,1,0,0,0,....,0,2
servlet_C,0,0,1,1,0,0,0,....,2,0

这些文件位于基于CentOS的服务器上，其中包含Perl，Python，Bash等工具。输出文件将用于加载到我无法访问的第三方MySQL数据库。

我尝试用bash写这个，但我的数学有点偏，我尝试使用除以5的延迟计数，例如等待时间= 11和11/5 = 2.2并向上舍入。这意味着应该将增量加1添加到第3个点，但是我在解析它时遇到了问题。

也许还有其他选择可以执行此操作（使用本地构建的数据库并导出文件）或其他一些我现在知道的选项，所以任何帮助都非常感谢！

Answer 1

对于一次性数据转换而言，这是快速而丑陋的，并且不遵循任何良好编码惯例的惯例:-)。假设您的数据位于data.txt。不输出任何标题。

#! /usr/bin/perl

# Sub-program to calculate latency counts for number range
# params: key, latency lower limit, latency upper limit
sub latencyCounts {
  $latency_total = 0;
  for ($i = $_[1]; $i <= $_[2]; $i++) {
    $latency_total += $latency_counts{$_[0]}[$i];  
  }
  return $latency_total;
}

# parse file and add data to arrays
open (FOO, "< data.txt");
while (<FOO>) {
  chomp;
  if (/^\/(.+),(\d{3}),(\d+),\[.+\]$/) {
    $httpcode_counts{$1}[$2]++;
    $latency_counts{$1}[$3]++;
  }
}
close (FOO);

# calculate and output totals
foreach (sort keys %httpcode_counts) {
  $key = $_;
  printf ("%s,%d,%d,%d,%d,...,%d,%d\n",
      $key,
      latencyCounts($key, 0, 5),
      latencyCounts($key, 6, 10),
      latencyCounts($key, 11, 195),
      latencyCounts($key, 196, 200),
      $httpcode_counts{$key}[200],
      $httpcode_counts{$key}[302]);
}

exit;

有人可能会在不到一半的代码中得出相同的结果......？

解析访问日志数据以适合DB格式

1 个答案: