Question

我试图从音频信号中提取MFCC向量作为递归神经网络的输入。但是，我无法弄清楚如何使用Core Audio在Swift中获取原始音频帧。据推测，我必须低级才能获得这些数据，但我找不到这方面的有用资源。

如何使用Swift获取所需的音频信号？

修改：此问题被标记为How to capture audio samples in iOS with Swift?的可能副本。但是，那个特定的问题没有我想要的答案。也就是说，该问题的解决方案是创建一个AVAudioRecorder，它是我的问题解决方案的一个组件，而不是最终结果。

这个问题How to convert WAV/CAF file's sample data to byte array?更像我前进的方向。解决方案是用Objective-C编写的，我想知道是否有办法在Swift中完成它。

Answer 1

将一个水龙头连接到AVAudioEngine上的默认输入节点非常简单，可以通过Float32阵列从麦克风获得实时~100ms的音频块。您甚至不必连接任何其他音频设备。如果您的MFCC提取器＆amp;网络响应充分，这可能是最简单的方法。

let audioEngine = AVAudioEngine()
if let inputNode = audioEngine.inputNode {
    inputNode.installTap( onBus: 0,         // mono input
                          bufferSize: 1000, // a request, not a guarantee
                          format: nil,      // no format translation
                          block: { buffer, when in 

        // This block will be called over and over for successive buffers 
        // of microphone data until you stop() AVAudioEngine
        let actualSampleCount = Int(buffer.frameLength)

        // buffer.floatChannelData?.pointee[n] has the data for point n
        var i=0
        while (i < actualSampleCount) {
            let val = buffer.floatChannelData?.pointee[i]
            // do something to each sample here...
            i += 1
        }
    })

    do {
        try audioEngine.start()
    } catch let error as NSError {
        print("Got an error starting audioEngine: \(error.domain), \(error)")
    }
}

您还需要申请并获得麦克风权限。

我发现幅度相当低，因此您可能需要根据网络的需要应用一些增益或标准化。

要处理你的WAV文件，我会尝试AVAssetReader，虽然我手边没有代码。

如何实时或从iOS中保存的音频文件中获取麦克风的原始音频帧？

1 个答案: