无需重复创建2D数组的最佳方法

时间:2014-05-26 07:00:03

标签: c arrays optimization bit-manipulation

我正在尝试创建一些代码来从大约200,000到1百万条记录的列表中删除记录。显然,我希望这个过程尽可能快。基本思想如下,大列表中的记录是要保持在一起的数字组合。例如:

0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,400076,400097,800076,800097
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,200032,200078,500032,500078
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,300043,300083,600043,600083
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,600026,600077,900026,900077
0,0,0,0,0,0,0,0,0,0,0,0,0,0,100008,100028,400028,400056,600008,600056
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,400042,400098,500042,500098
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,15,86,500015,500086
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,400013,400076,800013,800076
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,700024,700083,900024,900083
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,100003,100047,800003,800047

记录的最大长度为20,这就是额外零的原因。我们暂时不要担心这些。所以,我想“捕捉”一些记录,以便不会发现重复。如果有一次重复,我可以丢弃该记录,不再进一步查看。因此,我必须编译一个如下所示的列表:

0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,400076,400097,800076,800097
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,200032,200078,500032,500078
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,300043,300083,600043,600083
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,600026,600077,900026,900077
0,0,0,0,0,0,0,0,0,0,0,0,0,0,100008,100028,400028,400056,600008,600056
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,400042,400098,500042,500098
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,15,86,500015,500086
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,700024,700083,900024,900083
0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,100003,100047,800003,800047

注意在上面的列表中,如何记录否。缺少8,因为前一记录中已存在数字400076。

我用来执行此操作的代码如下:

void Make_List(ConfigList *pathgroups, ConfigList *configlist)
{
int i,j,k,l,flag,pg_num=0,len,p_num=0;
for(i = 0;i<configlist->num_total;i++)
{
    flag = 0;
    for(j = configlist->configsize-1;j>=0;j--)
    {   
        if(configlist->pathid[i][j])
        {
            for(k = 0;k<pg_num;k++)
            {
                for(l = pathgroups->configsize-1;l>=0;l--)
                {
                    if(pathgroups->pathid[k][l])
                    {
                        if(configlist->pathid[i][j]==pathgroups->pathid[k][l])
                        {
                            flag++;
                            break;
                        }
                    }
                    else
                    {
                        break;
                    }
                }
                if(flag)
                {
                    break;
                }
            }
        }
        else
        {
            break;
        }
        if(flag)
        {
            break;
        }
    }
    if(!flag)
    {
        len = 0;
        for(j = configlist->configsize-1;j>=0;j--)
        {
            pathgroups->pathid[pg_num][j]=configlist->pathid[i][j];
            if(configlist->pathid[i][j])
            {
                len++;
            }
        }
        pg_num++;
        p_num+=len;
        if(p_num>=totpaths)
        {
            break;
        }
    }   
}
Print_ConfigList(stderr,pathgroups);
}

结构ConfigList基本上存储了2D数组以及程序不同部分使用的其他内容。

num_total告诉我们数组中的行数,而configsize告诉我们数组中的列数。

totpaths是一个断点,它在案例分配完全结束时提前终止循环。

1 个答案:

答案 0 :(得分:2)

检查分析的每个新元素是否重复每个元素的计算成本为O(N^2),在给定大量输入集的情况下,计算成本太高。

基本上,您需要的是一种快速访问数据结构,您可以记录您的记录出现次数或至少是布尔标记。

最简单的方法是使用一个数组,其中position表示每个可能的值,数组值表示位置值出现的次数(或其存在的布尔值)。但是,如果您的数据范围太大,则可以执行此操作,因为用于存储阵列的内存与范围大小成比例。

避免这种情况的另一种方法是使用哈希表或集合。

正如您在上面的评论中所确定的那样,您的整数范围为[0,99999999],因此如果您想使用向量来跟踪每个值的存在与否,则需要大约96 MB将其存储在内存中。

这是使用字节数组的示例:

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

#define MAX_IN_RANGE 99999999

int main()
{

    char * isInInput = (char*)malloc(MAX_IN_RANGE+1);
    memset(isInInput,0,MAX_IN_RANGE+1);
    size_t i;
    int inputExample[] = {1,3,5,2,1,5};


    for(i = 0; i < 6; i++)
    {
        int value = inputExample[i];
        printf("%d\n",value);
        if(!isInInput[value])
        {
            printf("Add value %d to your collection\n", value);
            isInInput[value] = 1;
        }
        else
        {
            printf("%d is repeated\n", value);
        }
    }
    free(isInInput);
}

要使用哈希表,您可以依赖Judy之类的库,以避免实现自己的哈希表。