Question

我正在尝试直接在相机Feed上应用Windows 8应用中的图像处理效果。在使用直接从网络摄像头获取的效果后，我尝试了一种使用画布和重绘图像的方法。但是这种方法适用于基本效果，但对于像边缘检测这样的效果，它会在使用画布方法时产生大的延迟和闪烁。

其他方式是创建MFT（媒体基础转换），但它可以在C中实现，我不知道。

任何人都可以告诉我如何通过改进画布方法直接在Windows 8 metro风格的应用程序中实现我对网络摄像头流的效果的目的，以便边缘检测等大型效果不会有任何问题，或者我如何应用MFT C＃因为我使用过C＃语言或其他方法吗？

Answer 1

上周我在这个领域玩了很多，甚至考虑写一篇关于它的博客文章。我想这个答案可以一样好。

您可以采用MFT方式，这需要在C ++中完成，但是您需要编写的内容在C＃和C ++之间没有太大区别。唯一值得注意的是，我认为MFT在YUV色彩空间中工作，因此您的典型卷积滤波器/效果可能会有所不同或需要转换为RGB。如果您决定走这条路线在C＃应用程序端，您唯一需要做的就是调用MediaCapture.AddEffectAsync（）。好吧，你需要编辑你的Package.appxmanifest等，但让我们先做第一件事。

如果你看Media capture using webcam sample - 它已经做了你需要的。它将灰度效果应用于相机进纸。它包括一个C ++ MFT项目，该项目在C＃版本中可用的应用程序中使用。我不得不将效果应用于MediaElement，这可能不是你需要的，但同样简单 - 调用MediaElement.AddVideoEffect（），你的视频文件播放现在应用灰度效果。为了能够使用MFT - 您只需添加对GrayscaleTransform项目的引用，并将以下行添加到您的appxmanifest：

<Extensions>
  <Extension Category="windows.activatableClass.inProcessServer">
    <InProcessServer>
      <Path>GrayscaleTransform.dll</Path>
      <ActivatableClass ActivatableClassId="GrayscaleTransform.GrayscaleEffect" ThreadingModel="both" />
    </InProcessServer>
  </Extension>
</Extensions>

MFT代码的工作原理：

以下行创建像素颜色转换矩阵

float scale = (float)MFGetAttributeDouble(m_pAttributes, MFT_GRAYSCALE_SATURATION, 0.0f);
float angle = (float)MFGetAttributeDouble(m_pAttributes, MFT_GRAYSCALE_CHROMA_ROTATION, 0.0f);
m_transform = D2D1::Matrix3x2F::Scale(scale, scale) * D2D1::Matrix3x2F::Rotation(angle);

根据视频输入的像素格式，选择不同的变换方法来扫描像素。寻找这些线：

m_pTransformFn = TransformImage_YUY2;
m_pTransformFn = TransformImage_UYVY;
m_pTransformFn = TransformImage_NV12;

对于我的样本m4v文件 - 格式被检测为NV12，因此它正在调用TransformImage_NV12。

对于指定范围（m_rcDest）内的像素或整个屏幕内的像素（如果未指定范围） - TransformImage_~方法调用TransformChroma（mat，＆amp; u，＆amp; v）。对于其他像素 - 复制原始帧中的值。

TransformChroma使用m_transform转换像素。如果要更改效果 - 只需更改m_transform矩阵，或者如果需要访问边缘检测过滤器中的相邻像素，请修改TransformImage_方法以处理这些像素。

这是一种方法。我认为这是CPU密集型的，所以我个人更喜欢为这样的操作编写一个像素着色器。如何将像素着色器应用于视频流？好吧，我还没到那里，但我相信你可以很容易transfer video frames到一个DirectX表面并稍后调用它们的像素着色器。到目前为止 - 我能够传输视频帧，我希望下周应用着色器。我可能会写一篇关于它的博客文章。我从Media engine native C++ playback sample获取了meplayer类并将其移动到模板C ++ DirectX项目转换为WinRTComponent库，然后将其与C＃/ XAML应用程序一起使用，将meplayer类创建的swapchain与我使用的SwapChainBackgroundPanel相关联在C＃项目中显示视频。我不得不在meplayer课上做一些改动。首先 - 我必须将它移动到一个公共命名空间，使其可用于其他程序集。然后我不得不将它创建的交换链修改为接受与SwapChainBackgroundPanel一起使用的格式：

        DXGI_SWAP_CHAIN_DESC1 swapChainDesc = {0};
        swapChainDesc.Width = m_rcTarget.right;
        swapChainDesc.Height = m_rcTarget.bottom;
        // Most common swapchain format is DXGI_FORMAT_R8G8B8A8-UNORM
        swapChainDesc.Format = m_d3dFormat;
        swapChainDesc.Stereo = false;

        // Don't use Multi-sampling
        swapChainDesc.SampleDesc.Count = 1;
        swapChainDesc.SampleDesc.Quality = 0;

        //swapChainDesc.BufferUsage = DXGI_USAGE_BACK_BUFFER | DXGI_USAGE_RENDER_TARGET_OUTPUT;
        swapChainDesc.BufferUsage = DXGI_USAGE_RENDER_TARGET_OUTPUT; // Allow it to be used as a render target.
        // Use more than 1 buffer to enable Flip effect.
        //swapChainDesc.BufferCount = 4;
        swapChainDesc.BufferCount = 2;
        //swapChainDesc.Scaling = DXGI_SCALING_NONE;
        swapChainDesc.Scaling = DXGI_SCALING_STRETCH;
        swapChainDesc.SwapEffect = DXGI_SWAP_EFFECT_FLIP_SEQUENTIAL;
        swapChainDesc.Flags = 0;

最后 - 而不是调用CreateSwapChainForCoreWindow - 我调用CreateSwapChainForComposition并将swapchain与我的SwapChainBackgroundPanel相关联：

        // Create the swap chain and then associate it with the SwapChainBackgroundPanel.
        DX::ThrowIfFailed(
            spDXGIFactory.Get()->CreateSwapChainForComposition(
                spDevice.Get(),
                &swapChainDesc,
                nullptr,                                // allow on all displays
                &m_spDX11SwapChain)
            );

        ComPtr<ISwapChainBackgroundPanelNative> dxRootPanelAsSwapChainBackgroundPanel;

        // Set the swap chain on the SwapChainBackgroundPanel.
        reinterpret_cast<IUnknown*>(m_swapChainPanel)->QueryInterface(
            IID_PPV_ARGS(&dxRootPanelAsSwapChainBackgroundPanel)
            );

        DX::ThrowIfFailed(
            dxRootPanelAsSwapChainBackgroundPanel->SetSwapChain(m_spDX11SwapChain.Get())
            );

*编辑跟随

再忘了一件事。如果您的目标是保持纯C＃ - 如果您想出如何将帧捕获到WriteableBitmap（可能通过使用MemoryStream调用MediaCapture.CapturePhotoToStreamAsync()然后在流上调用WriteableBitmap。SetSource()） - 您可以使用WriteableBitmapEx处理您的图片。它可能不是最佳性能，但如果您的分辨率不是太高或者您的帧速率要求不高 - 那可能就足够了。 CodePlex上的项目尚未正式支持WinRT，但我有一个应该可以使用的版本here (Dropbox)。

Answer 2

据我所知，MFT需要用C ++实现。我相信有一个媒体转换SDK示例，它显示了从metro风格应用程序实现一些简单的转换。

如何在Windows 8应用程序中应用像边缘检测oncamera流这样的图像效果？

2 个答案: