Tensorflow Android支持视频

Question

对于本地保存的视频，Android上的Tensorflow是否有任何支持？所提供的演示与相机紧密耦合，并且将其移植到视频工作将至少是非常重要且耗时的。它的目的是处理正在直播的流中的原始帧。

Answer 1

您必须使用MediaMetadataRetriever或其他适当的方法在视频中获取帧的位图，然后将它们传递到tensorflow库以进行图像识别。

目前，在tensorflow AFAIK中，“视频”流本身并不存在支持，甚至该演示也会截取相机预览的屏幕截图进行识别。

如果您真的想要识别视频流，那么您必须构建自己的模型。

否则，如果您已经拥有图表和标签文件并且不需要播放视频，那么分析视频的过程将如下所示（如果您想在分析期间显示视频，那么您应该在活动中实施surfaceview或textureview） ：

1. 初始化张量流量＆amp;使用MediaMetadataRetriever加载所需视频
2. 使用getFrameAtTime＆amp;提取所需帧的位图。将位图缩放到适当的大小
3. 模式化位图和运行推理方法（如果你从演示中复制使用TensorflowImageClassifier.class，你可以直接传递位图）
4. 将结果和循环存储到另一个帧（2~4）

这有点简化了整个过程，但我希望你能从中得到一个暗示。