Question

我正在尝试从我的apache日志中提取IP地址，计算它们并对它们进行排序。

无论出于何种原因，排序部分都很糟糕。

这是命令：

cat access.* | awk '{ print $1 }' | sort | uniq -c | sort -n

输出示例：

  16789 65.X.X.X
  19448 65.X.X.X
   1995 138.X.X.X
   2407 213.X.X.X
   2728 213.X.X.X
   5478 188.X.X.X
   6496 176.X.X.X
  11332 130.X.X.X

我不明白为什么这些值没有真正排序。我还尝试删除行开头的空格（sed 's/^[\t ]*//g'）并使用sort -n -t" " -k1，这不会改变任何内容。

任何提示？

Answer 1

这可能会迟到，但使用第一种排序中的数字会为您提供所需的结果，

cat access.log | awk '{print $1}' | sort -n | uniq -c | sort -nr | head -20

输出：

 29877 93.xxx.xxx.xxx
  17538 80.xxx.xxx.xxx
   5895 198.xxx.xxx.xxx
   3042 37.xxx.xxx.xxx
   2956 208.xxx.xxx.xxx
   2613 94.xxx.xxx.xxx
   2572 89.xxx.xxx.xxx
   2268 94.xxx.xxx.xxx
   1896 89.xxx.xxx.xxx
   1584 46.xxx.xxx.xxx
   1402 208.xxx.xxx.xxx
   1273 93.xxx.xxx.xxx
   1054 208.xxx.xxx.xxx
    860 162.xxx.xxx.xxx
    830 208.xxx.xxx.xxx
    606 162.xxx.xxx.xxx
    545 94.xxx.xxx.xxx
    480 37.xxx.xxx.xxx
    446 162.xxx.xxx.xxx
    398 162.xxx.xxx.xxx

Answer 2

为什么要使用cat | awk？您只需使用awk：

awk '{ print $1 }' /var/log/*access*log | sort -n | uniq -c | sort -nr | head -20

Answer 3

我不知道为什么一个简单的sort -n不起作用，但在计数器和IP之间添加一个非数字字符可以解决我的问题。

cat access.* | awk '{ print $1 } ' | sort | uniq -c | sed -r 's/^[ \t]*([0-9]+) (.*)$/\1 --- \2/' | sort -rn

Answer 4

这应该有效

cat access.* | awk '{ print $1 }' | sort | awk '{print $1 " " $2;}' | sort -n

我看不出问题。

控制文件中的字符？

文件系统已满（临时文件）？

Answer 5

如果未按预期产生排序，则可能是由于语言环境问题造成的。

| LC_ALL=C sort -rn

awk '{array[$1]++}END{ for (ip in array) print array[ip] " " ip}' <path/to/apache/*.log> | LC_ALL=C sort -rn

来源 sort not sorting as expected (space and locale)

https://www.commandlinefu.com/commands/view/9744/sort-ip-by-count-quickly-with-awk-from-apache-logs

Answer 6

如果有人想要这里有 PHP 函数，它可以计算哪个 ip 在文件中出现了多少次。

function get_access_ip_count($input_file_name, $output_file_name){
    
    $access_ip_array = array();
    
    $overall_count = 0;
    
    $handle = fopen($input_file_name, "r");
    if ($handle) {
        
        while (($line = fgets($handle)) !== false) {
            
            preg_match('/\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}/', $line, $matches);
            
            #print_r($matches);
            #exit;
            
            if($matches[0]>0){
                
                #print_r($matches);
                
                $ip = $matches[0];
                #echo "ip: $ip";
                if(!isset($access_ip_array[$ip])){
                    
                    $access_ip_array[$ip] = 1;
                    $overall_count++;
                    
                }
                else{
                    
                    $access_ip_array[$ip]++;
                    $overall_count++;
                    
                }
                
            }
        }
        fclose($handle);
        
        uasort($access_ip_array,"Descending");
        
        echo "<pre>";
        print_r($access_ip_array);
        echo "</pre>";
        
        $output_file = fopen($output_file_name, "w");
        fwrite($output_file, print_r($access_ip_array, TRUE));
        fclose($output_file);
        
        echo "overall_count: $overall_count";
        
    } else {
        echo "Couldn't open file";
    } 
}

function Descending($a, $b) {   
    if ($a == $b) {        
        return 0;
    }   
        return ($a > $b) ? -1 : 1; 
}

从Apache日志中排序uniq IP地址

6 个答案: