Hololens - 访问相机框架

Question

在3D模式下，如何从hololens相机访问视频流中的所有帧？我正在使用C＃。

团结VideoCapture类似乎无法提供： http://docs.unity3d.com/550/Documentation/ScriptReference/VR.WSA.WebCam.VideoCapture.html

并且方法MediaCapture的Microsoft MediaCapture.StartPreviewToCustomSinkAsync类没有很好地记录。 https://msdn.microsoft.com/en-us/library/windows/desktop/ms701626(v=vs.85).aspx

Answer 1

您可以尝试使用MediaCapture FrameReader API

文档： https://msdn.microsoft.com/en-gb/windows/uwp/audio-video-camera/process-media-frames-with-mediaframereader#create-a-frame-reader-for-the-frame-source

示例代码： https://github.com/Microsoft/Windows-universal-samples/tree/master/Samples/CameraFrames

Answer 2

我们制作了一个名为CameraStream的开源项目来满足这一需求。作为Unity插件，它使用MediaCapture将字节数组提供给Unity（以及可定位矩阵）。从那里你可以将字节分配给Texture2D，如提供的Unity示例所示。

我们的VideoCapture课程模仿Unity's class of the same name，以便开发人员熟悉如何使用它。我们还假设这个功能最终将由Unity提供。