Question

我可以使用我使用此示例here学习的图像来编写视频文件。它使用IMFSample和IMFSinkWriter。现在我想为它添加音频。假设有Audio.wma文件，我希望将该音频写入该视频文件中。

但是在这个样本中无法弄清楚如何做到这一点。输入和输入之类的东西输出类型设置，IMFSample创建音频缓冲区等。如果有人可以告诉我如何使用接收器编写器将音频添加到视频文件，那将是一件好事。

Answer 1

Media Foundation非常适合使用，我相信您将能够快速修改您的项目以完成此任务。

<强>概览
创建新的IMFMediaSource以从音频文件中读取样本，将音频流添加到接收器，最后使用相应的流索引交换接收器写入。

详情：

修改VideoGenerator::InitializeSinkWriter(..)功能以正确初始化接收器以容纳音频流。在该功能中，正确创建 audioTypeOut 和 audioTypeIn （IMFMediaType）。为清晰起见，您可能需要将 mediaTypeOut 和 mediaTypeIn 重命名为 videoTypeOut 和 videoTypeIn ，如下所示：

ComPtr<IMFMediaType>  videoTypeOut;  // <-- previously mediaTypeOut
ComPtr<IMFMediaType>  videoTypeIn;   // <-- previously mediaTypeIn
ComPtr<IMFMediaType>  audioTypeOut = nullptr;
ComPtr<IMFMediaType>  audioTypeIn = nullptr;

接下来，配置与您的视频类型兼容的输出音频类型。由于您似乎正在创建Windows媒体视频，因此您可能希望使用MFAudioFormat_WMAudioV9。为了确保通道，采样率和每个采样的位数是正确的，我通常列举可用的类型并找到所需的特性，类似于以下（错误检查已被省略）：

ComPtr<IMFCollection> availableTypes = nullptr;
HRESULT hr = MFTranscodeGetAudioOutputAvailableTypes(MFAudioFormat_WMAudioV9, MFT_ENUM_FLAG_ALL, NULL, availableTypes.GetAddressOf());

DWORD count = 0;
hr = availableTypes->GetElementCount(&count));  // Get the number of elements in the list.

ComPtr<IUnknown>     pUnkAudioType = nullptr;
ComPtr<IMFMediaType> audioOutputType = nullptr;
for (DWORD i = 0; i < count; ++i)
{
    hr = availableTypes->GetElement(i, pUnkAudioType.GetAddressOf());
    hr = pUnkAudioType.Get()->QueryInterface(IID_PPV_ARGS(audioTypeOut.GetAddressOf()));

    // compare channels, sampleRate, and bitsPerSample to target numbers
    {
        // audioTypeOut is set!
        break;
    }

    audioOutputType.Reset();
}

availableTypes.Reset();

如果audioTypeOut设置成功，请将该类型的流添加到接收器并获取结果索引：

hr = sinkWriter->AddStream(audioTypeOut.Get(), &audioStreamIndex);
audioTypeOut.Reset();  // <-- audioTypeOut not needed anymore

最后，对于接收器，必须设置音频输入类型，这取决于您正在读取的文件和音频源（IMFMediaSource）。更多相关内容，但将音频输入添加到接收器将类似于以下内容：

ComPtr<IMFMediaType> audioTypeIn = nullptr;  // <-- declaration from above
// NOTE: audioReader is an IMFMediaSource used to read the audio file
hr = audioReader->GetCurrentMediaType((DWORD)MF_SOURCE_READER_FIRST_AUDIO_STREAM, audioTypeIn.GetAddressOf());
hr = sinkWriter->SetInputMediaType(_audioOutStreamIndex, audioTypeIn.Get(), nullptr);
audioTypeIn.Reset();

有许多示例可用于创建 audioReader （IMFMediaSource）并从文件中读取样本，但this one简单明了。代码为here。

最后，编写音频会很容易，因为接收器可以直接从文件中读取样本（IMFSample）。您可以管理写入，但一种解决方案是交错写入（视频/音频）。处理音频样本的持续时间，但您需要重新定义时间戳。写入接收器时，请确保您具有正确的流索引。

使用和异步回调读取样本：

// if you are using an async callback, the function would look similar to the following:
HRESULT OnReadAudioSample(HRESULT status, DWORD streamIndex, DWORD streamFlags, LONGLONG timestamp, IMFSample *sample)
{
    // .. other code
    hr = sample->SetSampleTime(timestamp - _baseRecordTime);
    hr = sinkWriter->WriteSample(audioStreamIndex, sample);
    // .. other code

    // trigger the next asyc read...
    hr = audioReader->ReadSample((DWORD)MF_SOURCE_READER_FIRST_AUDIO_STREAM, 0, nullptr, nullptr, nullptr, nullptr);
}

同步读取样本：

// otherwise, you will only use a synchronous read
hr = audioReader->ReadSample((DWORD)MF_SOURCE_READER_FIRST_AUDIO_STREAM, 0, nullptr, &dwFlags, &timestamp, &sample);
hr = sample->SetSampleTime(timestamp - _baseRecordTime);
hr = sinkWriter->WriteSample(audioStreamIndex, sample);
hr = WriteFrame(target.get(), rtStart, rtDuration);  // <-- write video frame as before

听起来像一个有趣的小项目。祝你好运，玩得开心，希望这有帮助！

使用Windows Media Foundation中的Sink Writer添加到视频的音频示例

1 个答案: