我将一些音频文件转换为声谱图,并使用以下代码将其保存到文件中:
import os
from matplotlib import pyplot as plt
import librosa
import librosa.display
import IPython.display as ipd
audio_fpath = "./audios/"
spectrograms_path = "./spectrograms/"
audio_clips = os.listdir(audio_fpath)
def generate_spectrogram(x, sr, save_name):
X = librosa.stft(x)
Xdb = librosa.amplitude_to_db(abs(X))
fig = plt.figure(figsize=(20, 20), dpi=1000, frameon=False)
ax = fig.add_axes([0, 0, 1, 1], frameon=False)
ax.axis('off')
librosa.display.specshow(Xdb, sr=sr, cmap='gray', x_axis='time', y_axis='hz')
plt.savefig(save_name, quality=100, bbox_inches=0, pad_inches=0)
librosa.cache.clear()
for i in audio_clips:
audio_fpath = "./audios/"
spectrograms_path = "./spectrograms/"
audio_length = librosa.get_duration(filename=audio_fpath + i)
j=60
while j < audio_length:
x, sr = librosa.load(audio_fpath + i, offset=j-60, duration=60)
save_name = spectrograms_path + i + str(j) + ".jpg"
generate_spectrogram(x, sr, save_name)
j += 60
if j >= audio_length:
j = audio_length
x, sr = librosa.load(audio_fpath + i, offset=j-60, duration=60)
save_name = spectrograms_path + i + str(j) + ".jpg"
generate_spectrogram(x, sr, save_name)
我希望保留音频的最详细信息和质量,以便我可以将它们重新转换为音频而不会造成太多损失(它们各自为80MB)。
是否可以将它们转换回音频文件?我该怎么办?
我尝试使用librosa.feature.inverse.mel_to_audio,但是它不起作用,而且我认为它不适用。
我现在有1300个频谱图文件,并希望与它们一起训练生成对抗网络,以便可以生成新的音频,但是如果以后无法收听结果,我就不想这样做。 / p>
答案 0 :(得分:7)
import numpy as np
import librosa
y, sr = librosa.load(librosa.util.example_audio_file(), duration=10)
S = np.abs(librosa.stft(y))
y_inv = librosa.griffinlim(S)
这就是原始和重建的样子:
默认情况下,该算法会随机初始化相位,然后反复进行正向和反向STFT操作以估计相位。
查看您的代码以重构信号,您只需要这样做:
import numpy as np
X_inv = librosa.griffinlim(np.abs(X))
这只是一个例子。如@PaulR所指出的,在您的情况下,您需要从jpeg
加载数据(这是有损的!),然后首先对amplitude_to_db
应用逆变换。
由于人工神经网络的进步,可以进一步改善算法,尤其是相位估计。 Here是讨论某些增强功能的论文。