Question

您好我正在尝试根据ssdeep找到文件组。

我已生成文件的ssdeep并将其保存在csv文件中。

我正在使用perl脚本解析文件，如下所示：

foreach( @all_lines )
{
    chomp;
    my $line = $_;

    my @split_array = split(/,/, $line);
    my $md5 = $split_array[1];
    my $ssdeep = $split_array[4];

    my $blk_size = (split(/:/, $ssdeep))[0];

    if( $blk_size ne "")
    {
        my $cluster_id = check_In_Cluster($ssdeep);

        print WFp "$cluster_id,$md5,$ssdeep\n"; 
    }
}

这还会检查ssdeep是否存在于先前的群集组中，如果不存在则会创建新组。

chec_In_Cluster的代码

my $ssdeep = shift;
my $cmp_result;

if( $cluster_cnt > 0 ) {
    $cmp_result = ssdeep_compare( $MRU_ssdeep, $ssdeep );
    if( $cmp_result > 85 ) {
        return $MRU_cnt;
    }
}

my $d = int($cluster_cnt/4);
my $thr1 = threads->create(\&check, 0, $d, $ssdeep);
my $thr2 = threads->create(\&check, $d, 2*$d, $ssdeep);
my $thr3 = threads->create(\&check, 2*$d, 3*$d, $ssdeep);
my $thr4 = threads->create(\&check, 3*$d, $cluster_cnt, $ssdeep);

my ($ret1, $ret2, $ret3, $ret4);
$ret1 = $thr1->join();
$ret2 = $thr2->join();
$ret3 = $thr3->join();
$ret4 = $thr4->join();
if($ret1 != -1) {
    $MRU_ssdeep = $ssdeep;
    $MRU_cnt = $ret1;
    return $MRU_cnt;    
} elsif($ret2 != -1) {
    $MRU_ssdeep = $ssdeep;
    $MRU_cnt = $ret2;
    return $MRU_cnt;    
} elsif($ret3 != -1) {
    $MRU_ssdeep = $ssdeep;
    $MRU_cnt = $ret3;
    return $MRU_cnt;    
} elsif($ret4 != -1) {
    $MRU_ssdeep = $ssdeep;
    $MRU_cnt = $ret4;
    return $MRU_cnt;    
} else {
    $cluster_base[$cluster_cnt] = $ssdeep;
    $MRU_ssdeep = $ssdeep;
    $MRU_cnt = $cluster_cnt;
    $cluster_cnt++;
    return $MRU_cnt;    
}

和chech的代码：

sub check($$$) {
    my $from = shift;
    my $to = shift;
    my $ssdeep = shift;

    for( my $icnt = $from; $icnt < $to; $icnt++ ) {
        my $cmp_result = ssdeep_compare( $cluster_base[$icnt], $ssdeep );
        if( $cmp_result > 85 ) {
            return $icnt;
        }
    }
return -1;
}

但是这个过程需要很长时间（对于20-30MB的csv文件需要8-9小时）。我在尝试使用群集时也尝试使用多线程，但没有太多帮助。

由于他们不需要像Text :: CSV这样的csv解析器（因为对csv的操作较少）我没有使用它。

任何人都可以解决我的问题吗？是否可以使用hadoop或其他一些框架进行基于ssdeep的分组？

Answer 1

描述您的代码。

确保您没有重新计算可能已缓存的内容。

您是否考虑过多阶段方法？

计算所有哈希值
在预先计算的哈希值上运行群集

资料。也许ssdeep只需要8个小时的数据集。

如何基于ssdeep进行集群？

1 个答案: