频谱图中窗口移位的影响？

Question

我在DSP方面还很陌生，它会生成音频文件的声谱图。我的频谱图不平滑，并且显示的是像素值相当原始的图像，像这样

虽然我正在寻找像这样的平滑频谱图

我在哪里做错了？是因为窗口大小的大小吗？我生成梅尔频谱图的代码是

def readData(file):
    origData,origSampFreq = librosa.load(file, sr=None)
    return origData, origSampFreq


def resample(originalData, origSampFreq, targetSampFreq):
    resampledData = librosa.resample(originalData, origSampFreq, targetSampFreq)
    return resampledData


def normalizeSound(resampledData, axis):
    """ Axis is 0 for row-wise and 1 
    for column wise"""
    normalizedData = normalize(resampledData, axis)
    return normalizedData

def calculateMelSpectogram(normalizedData, hop_length, win_length, sr):
    #newSamplingFreq = 16000
    S=librosa.feature.melspectrogram(normalizedData, sr=sr, hop_length=hop_length, win_length=win_length)
    return S

#Plot melspectogram

def plotMelSpectogram(S, sr, name, ref=np.max):
    plt.figure(figsize=(10,3))
    S_dB = librosa.power_to_db(S, ref=np.max)
    librosa.display.specshow(S_dB, x_axis='time',y_axis='mel', sr=16000,)
    plt.colorbar(format='%+2.0f dB')
    plt.title('Mel-frequency spectrogram')
    plt.savefig('./chunk_images/' + name + "mel.png",dpi=(300), bbox_inches='tight')
    plt.tight_layout()
    plt.show()
def featureExtraction(audioFile, name, targetSampFreq = 16000, 
                      axis =0 , 
                      hop_length= 256,
                      win_length=512):
    
    y, y_sr = readData(file=audioFile)
    print(y, y_sr)
    resampledData = resample(originalData=y, origSampFreq=y_sr, targetSampFreq=targetSampFreq)
    normalizedData = normalizeSound(resampledData, axis=axis)
    S = calculateMelSpectogram(normalizedData=normalizedData, hop_length=hop_length, win_length=win_length, sr=targetSampFreq)
    plotSound(soundData=normalizedData, sr=targetSampFreq,x_axis_string='time' , name = name)
    plotMelSpectogram(S, sr=targetSampFreq, name = name, ref=np.max)
    return S

# plot orginal time domain data

def plotSound(soundData, sr, x_axis_string, name):
    plt.figure(figsize=(10,3))
    waveplot(soundData, sr, x_axis=x_axis_string)
    plt.savefig('./chunk_images/' + name + "sound.png",dpi=(300), bbox_inches='tight')

Answer 1

mel频谱图的时间分辨率由hop_length指定。 16kHz下的256个采样为16 ms，这是一个相当高的分辨率。较低的值表示较高的分辨率。 您可以使用大于Hop_length的n_fft进行一些平滑处理。默认值为n_fft = 4x hop_length，而您只有2x。

频率分辨率由n_mels给出，您尚未指定。越高，分辨率越高。它通常在32-256个频段范围内，典型值为128（也是librosa中的默认值）。 如果您想要高于沿频率轴的频率，最好只使用STFT，而不应用Mel滤波器组。

顺便说一句，您没有将hop_length传递给librosa.display.specshow，所以该图的时间轴很可能是错误的。