Question

我目前正致力于在Matlab中使用Gabor滤波器进行特征提取系统。对于Gabor滤镜和图像卷积，我使用的是此处的代码 https://www.mathworks.com/matlabcentral/fileexchange/44630-gabor-feature-extraction，只是根据自己的用途进行了略微调整。该系统的面部是从AT＆amp; T face数据库http://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html获得的。我使用数据库中的9个主题。每个受试者有10个属于他/她的图像。使用Viola Jones我裁剪人脸图像并将其调整为128x128px。

此功能可创建Gabor滤波器组。其中u = 5，v = 8，m，n = 39.因此得到的gaborArray由40个不同的Gabor滤波器组成，包括5个刻度和8个方向。 我认为这两个功能正在按预期运行，因为它们来自经过批准的外部来源。

function gaborArray = gaborFilterBank(u,v,m,n)
gaborArray = cell(u,v);
fmax = 0.25;
gama = sqrt(2);
eta = sqrt(2);

for i = 1:u    
    fu = fmax/((sqrt(2))^(i-1));
    alpha = fu/gama;
    beta = fu/eta;    
    for j = 1:v
        tetav = ((j-1)/v)*pi;
        gFilter = zeros(m,n);

        for x = 1:m
            for y = 1:n
                xprime = (x-((m+1)/2))*cos(tetav)+(y-((n+1)/2))*sin(tetav);
                yprime = -(x-((m+1)/2))*sin(tetav)+(y-((n+1)/2))*cos(tetav);
                gFilter(x,y) = (fu^2/(pi*gama*eta))*exp(-((alpha^2)*(xprime^2)+(beta^2)*(yprime^2)))*exp(1i*2*pi*fu*xprime);
            end
        end
        gaborArray{i,j} = gFilter;        
    end
end

这是我加载数据库的第二部分，并使用从前一个函数获得的gaborArray中存储的Gabor Bank对每个图像进行卷积。由于我使用了9个科目x 10个图像result的细胞大小为90 x gaborAbs + 1 for class（1-9）

function [result]  = feature(gaborArray)
faceDatabase = imageSet(database,'recursive');    %database = folder
numberOfFoldersOverall = size(faceDatabase,2);
numberOfPhotosPF = 10;
cellSize = numberOfFoldersOverall * numberOfPhotosPF;
allFeatures = cell(cellSize,1);

[u,v] = size(gaborArray);
gaborResult = cell(u,v);
d1 = 4;
d2 = 4;
count = 1;

for m=1:numberOfFoldersOverall
    for n=1:numberOfPhotosPF
        I= (read(faceDatabase(m), n));
        I = double(I);
        featureVector = [];

        for i = 1:u
            for j = 1:v
                gaborResult{i,j} = imfilter(I, gaborArray{i,j});
            end
        end
        for i = 1:u
            for j = 1:v
                gaborAbs = abs(gaborResult{i,j});
                gaborAbs = downsample(gaborAbs,d1); 
                gaborAbs = downsample(gaborAbs.',d2);
                gaborAbs = gaborAbs(:);

                gaborAbs = (gaborAbs-mean(gaborAbs))/std(gaborAbs,1);
                featureVector =  [featureVector; gaborAbs];                                
             end
         end
         featureVector = [featureVector; m];
         allFeatures{count} = featureVector;
         count = count + 1;
    end
end
result = allFeatures;

这是我可能在实施中犯了错误的部分 。来自Gabor feature extraction的帮助我对以前的函数进行了一些更改来计算本地能量

gaborAbs = gaborResult{i,j};     %no longer abs(gaborResult{i,j})
gaborAbs = downsample(gaborAbs,d1); 
gaborAbs = downsample(gaborAbs.',d2);
gaborAbs = gaborAbs(:);
gaborAbs = sum(gaborAbs).^2;    %sum of squared gaborAbs

并计算平均幅度

gaborAbs = abs(gaborResult{i,j});                         
gaborAbs = downsample(gaborAbs,d1);                       
gaborAbs = downsample(gaborAbs.',d2);
gaborAbs = gaborAbs(:);
gaborAbs = sum(gaborAbs);       % sum of abs gaborAbs

本地能量和平均幅度的两个体育者的长度都是41，其中最后一个指数是主题类别。然而，当在我的面部识别中使用任何一种基于Knn的系统时，在某些情况下我的识别率最终为10％。

我试图在matlab中使用andrewsplot绘制局部能量特征vektor，结果是这样。每行代表1个主题，因此共有90行，其中具有相同颜色的行属于同一类（图像上的同一个人）。正如我们所看到的那样，它们堆叠在一起，几乎没有区别

SO 终于，对不起我对你的这种长篇描述感到抱歉。

我在计算局部能量或平均振幅时是否犯过错误？
Andrewsplot是否适合代表此类数据？
如果是的话，我解读它很好，因为所有的功能都很基本相同，因为图形几乎没有差别？（我假设属于同一个人的图像应该堆叠但不同于其他人。这里所有的东西都堆叠！）
或者这些功能是否有可能不适合人脸识别？提前感谢您提供任何提示或示例。最好的问候Yondaru。

Answer 1

这是我的第一个想法。这不是一个完整的答案，但也许你可以在这里形成。

Gabor滤波器结果的幅度给出了相当平滑的结果：它是当地邻域中存在的给定空间频率的量。但是如果你分别看实部和虚部，你会看到一个高频信号（等于滤波器本身的频率）。我鼓励您将这些结果显示为图像以获得感觉。

下采样平滑幅度是可以的。它很顺利，您将获得邻居的代表性结果。但是对实部和虚部进行下采样是危险的：你可能会看到混叠，或者至多是无意义的数量。当然，这两个组成部分仍然具有有意义的重要性，但相位毫无意义。

在任何情况下，由于能量是常态的平方，因此您并不需要帽子下采样阶段。只是平方并对幅度图像求和。

最后，如果你要总结，为什么要下采样？我没有看到任何优势。

在编码方面：为什么要在gaborResult中保存所有过滤结果？您也可以循环遍历所有u，v一次，应用过滤器，并直接计算该过滤器的总和大小。

使用Gabor滤波器进行特征提取

1 个答案: