我正在尝试实现一个能够旋转视频的MFT。旋转本身将在变换函数内完成。为此，我需要更改输出帧大小，但我不知道该怎么做。
作为起点，我使用了Microsoft提供的MFT_Grayscale示例。我将此MFT作为转换节点包含在部分拓扑中
HRESULT Player::AddBranchToPartialTopology(
IMFTopology *pTopology,
IMFPresentationDescriptor *pSourcePD,
DWORD iStream
)
{
...
IMFTopologyNode pTransformNode = NULL;
...
hr = CreateTransformNode(CLSID_GrayscaleMFT, &pTransformNode);
...
hr = pSourceNode->ConnectOutput(0, pTransformNode, 0);
hr = pTransformNode->ConnectOutput(0, pOutputNode, 0);
...
}
此代码目前正在运行。应用灰度mft并按预期工作。无论如何，我想改变这个mft来处理视频旋转。所以我们假设我想将视频旋转90度。为此，必须切换输入框架的宽度和高度。我尝试了不同的东西，但没有一个按预期工作。 根据此帖子How to change Media Foundation Transform output frame(video) size?中的第一条评论，我开始更改SetOutputType的实现。我在GetOutputType中调用GetAttributeSize来接收实际的frame_size。当我尝试设置新的frame_size时失败（当开始播放时我收到hresult 0xc00d36b4（指定的数据无效，不一致或此对象不支持）
HRESULT CGrayscale::SetOutputType(
DWORD dwOutputStreamID,
IMFMediaType *pType, // Can be NULL to clear the output type.
DWORD dwFlags
)
{ ....
//Receive the actual frame_size of pType (works as expected)
hr = MFGetAttributeSize(
pType,
MF_MT_FRAME_SIZE,
&width,
&height
));
...
//change the framesize
hr = MFSetAttributeSize(
pType,
MF_MT_FRAME_SIZE,
height,
width
));
}
我确信我会错过这里的内容，所以任何提示都会受到高度赞赏。
提前致谢
答案 0 :(得分：2)
W8 +中有transform可用于旋转。我自己也没有多少运气，但据推测它可以起作用。我会认为这不适合你。
更有趣的情况是创建一个MFT来进行转换。
事实证明，有很多步骤可以实现“灰度＆＃39;进入一个旋转器。
1）正如您所推测的，您需要影响输出类型的帧大小。但是，更改传递给SetOutputType的类型是错误的。发送到SetOutputType的pType是客户端要求您支持的类型。将该媒体类型更改为其他而不是他们所请求的内容，然后返回S_OK表示您支持它是没有意义的。
相反，您需要更改的是从GetOutputAvailableType发回的值。
2）在计算要从GetOutputAvailableType发回的类型时，您需要将其基于客户端发送到SetInputType的IMFMediaType，并进行一些更改。是的，您想要调整MF_MT_FRAME_SIZE，但您可能还需要调整MF_MT_DEFAULT_STRIDE，MF_MT_GEOMETRIC_APERTURE和（可能）MF_MT_MINIMUM_DISPLAY_APERTURE。可以想象，您可能还需要调整MF_MT_SAMPLE_SIZE。
3）你没有说你是否打算在流的开始时确定轮换金额，或者在比赛期间有所变化。当我写这篇文章时，我使用从IMFTransform :: GetAttributes返回的IMFAttributes来指定旋转。在处理每个帧之前，读取当前值。要使其正常工作，您需要能够从OnProcessOutput发回MF_E_TRANSFORM_STREAM_CHANGE。
4）懒惰，我不想弄清楚如何旋转NV12或YUY2或其他一些。但是有一些功能可以为RGB32做到这一点。因此，当调用我的GetInputAvailableType时，我要求RGB32。
我尝试过支持其他输入类型，如RGB24，RGB565等，但遇到了问题。当你的输出类型是RGB24时，MF会在下游添加另一个MFT，将RGB24转换回更容易使用的东西（可能是RGB32）。并且MFT 不支持支持在流中更改媒体类型。我能够通过接受输入的各种子类型来实现这一点，但始终输出RGB32，按指定方式旋转。
这听起来很复杂，但大多数情况并非如此。如果您阅读了代码，您可能会去＃34;哦，我明白了。＆＃34;我向您提供了我的源代码，但我不确定它对您有多大用处。它在c＃中，你问的是c ++。
另一方面，我正在制作一个模板，以便更轻松地编写MFT。 〜十几行c＃代码创建最简单的MFT。由VS的分析/计算代码度量（不包括模板）计算，c＃旋转MFT为~133行。我正在尝试使用c ++版本，但它仍然有点粗糙。
我忘了什么吗？可能是一堆东西。就像忘记为你的MFT生成新的Guid而不是使用Grayscale那样。但我认为我已经达到了最高点。
编辑：现在我的c ++版本的模板开始工作了，我觉得发布一些实际的代码很舒服。这可能会使上述一些观点更加清晰。例如在＃2中，我谈到了基于输入类型的输出类型。您可以在CreateOutputFromInput中看到这种情况。实际的旋转代码在WriteIt（）中。
我已经简化了代码的大小，但希望这会让你进入＆＃34;哦，我明白了。＆＃34;
void OnProcessSample(IMFSample *pSample, bool Discontinuity, int InputMessageNumber)
{
HRESULT hr = S_OK;
int i = MFGetAttributeUINT32(GetAttributes(), AttribRotate, 0);
i &= 7;
// Will the output use different dimensions than the input?
bool IsOdd = (i & 1) == 1;
// Does the current AttribRotate rotation give a different
// orientation than the old one?
if (IsOdd != m_WasOdd)
{
// Yes, change the output type.
OutputSample(NULL, InputMessageNumber);
m_WasOdd = IsOdd;
}
// Process it.
DoWork(pSample, (RotateFlipType)i);
// Send the modified input sample to the output sample queue.
OutputSample(pSample, InputMessageNumber);
}
void OnSetInputType()
{
HRESULT hr = S_OK;
m_imageWidthInPixels = 0;
m_imageHeightInPixels = 0;
m_cbImageSize = 0;
m_lInputStride = 0;
IMFMediaType *pmt = GetInputType();
// type can be null to clear
if (pmt != NULL)
{
hr = MFGetAttributeSize(pmt, MF_MT_FRAME_SIZE, &m_imageWidthInPixels, &m_imageHeightInPixels);
ThrowExceptionForHR(hr);
hr = pmt->GetUINT32(MF_MT_DEFAULT_STRIDE, &m_lInputStride);
ThrowExceptionForHR(hr);
// Calculate the image size (not including padding)
m_cbImageSize = m_imageHeightInPixels * m_lInputStride;
}
else
{
// Since the input must be set before the output, nulling the
// input must also clear the output. Note that nulling the
// input is only valid if we are not actively streaming.
SetOutputType(NULL);
}
}
IMFMediaType *CreateOutputFromInput(IMFMediaType *inType)
{
// For some MFTs, the output type is the same as the input type.
// However, since we are rotating, several attributes in the
// media type (like frame size) must be different on our output.
// This routine generates the appropriate output type for the
// current input type, given the current state of m_WasOdd.
IMFMediaType *pOutputType = CloneMediaType(inType);
if (m_WasOdd)
{
HRESULT hr;
UINT32 h, w;
// Intentionally backward
hr = MFGetAttributeSize(inType, MF_MT_FRAME_SIZE, &h, &w);
ThrowExceptionForHR(hr);
hr = MFSetAttributeSize(pOutputType, MF_MT_FRAME_SIZE, w, h);
ThrowExceptionForHR(hr);
MFVideoArea *a = GetArea(inType, MF_MT_GEOMETRIC_APERTURE);
if (a != NULL)
{
a->Area.cy = h;
a->Area.cx = w;
SetArea(pOutputType, MF_MT_GEOMETRIC_APERTURE, a);
}
a = GetArea(inType, MF_MT_MINIMUM_DISPLAY_APERTURE);
if (a != NULL)
{
a->Area.cy = h;
a->Area.cx = w;
SetArea(pOutputType, MF_MT_MINIMUM_DISPLAY_APERTURE, a);
}
hr = pOutputType->SetUINT32(MF_MT_DEFAULT_STRIDE, w * 4);
ThrowExceptionForHR(hr);
}
return pOutputType;
}
void WriteIt(BYTE *pBuffer, RotateFlipType fm)
{
Bitmap *v = new Bitmap((int)m_imageWidthInPixels, (int)m_imageHeightInPixels, (int)m_lInputStride, PixelFormat32bppRGB, pBuffer);
if (v == NULL)
throw (HRESULT)E_OUTOFMEMORY;
try
{
Status s;
s = v->RotateFlip(fm);
if (s != Ok)
throw (HRESULT)E_UNEXPECTED;
Rect r;
if (!m_WasOdd)
{
r.Width = (int)m_imageWidthInPixels;
r.Height = (int)m_imageHeightInPixels;
}
else
{
r.Height = (int)m_imageWidthInPixels;
r.Width = (int)m_imageHeightInPixels;
}
BitmapData bmd;
bmd.Width = r.Width,
bmd.Height = r.Height,
bmd.Stride = 4*bmd.Width;
bmd.PixelFormat = PixelFormat32bppARGB;
bmd.Scan0 = (VOID*)pBuffer;
bmd.Reserved = NULL;
s = v->LockBits(&r, ImageLockModeRead + ImageLockModeUserInputBuf, PixelFormat32bppRGB, &bmd);
if (s != Ok)
throw (HRESULT)E_UNEXPECTED;
s = v->UnlockBits(&bmd);
if (s != Ok)
throw (HRESULT)E_UNEXPECTED;
}
catch(...)
{
delete v;
throw;
}
delete v;
}