Android中的多线程实时相机处理

Question

目标是在Android设备的实时预览中进行实时图像处理。这已经在很多时候被解决了，并且在网上有一些提及（参见问题末尾的参考文献），但是，我还没有找到关于适当的多线程框架的单一建议来实现这一点。 / p>

根据我的理解，为了正确使用多线程（以及具有多个物理内核的设备），可以实现以下内容：

1. 在UI线程（onCameraPreview）上调用帧处理程序，并将帧数据排入共享队列Q。
2. 在n等待Q个线程的线程池。每当线程可用时，每个线程都会出现一个帧，＃34;重＆＃34;图像处理并将消息发布到带有结果的UI线程。

我的主要问题是以上是否是正确的方向，以及如何在Android上完成它。此外，如果图像处理必须以串行方式完成，那么所需的修改是什么 - 即在任何给定时间处理的帧数不超过1帧，但仍然在与主要线程分开的线程上完成处理。

---

更新1：
我最终将此实现为AsyncTask，将原始帧数据作为输入接收，并使用onPostExecute回调来更新UI。然而，这种情况每秒发生大约10次，这让我想知道它是否不会产生太多的开销。这就是为什么，就我而言，这个问题仍然可以得到验证，这确实是最有效的方法。此外，我还不清楚如何将这种方法扩展到多个核心上的多个工作线程。

---

相关问题：
  - Video processing in Android
  - Android Camera Frame processing with MultiThreading
  - Android: How to record video and process its frames in real time?
  - Processing Android camera frames in real time
  - Ways of getting high FPS for real time computer vision processing
  - Multithreading in openCV4Android
  - Android: Real Time Image Processing
  - Android video frame processing
  - Simultaneous camera preview and processing
  - Real Time Image Processing in Android using the NDK
  - Android Camera Preview filtering
  - How to show real time filtered camera preview while recording videos?

和链接：
http://ibuzzlog.blogspot.co.il/2012/08/how-to-do-real-time-image-processing-in.html

Answer 1

Android文档指出，带有byte []数组的“onPreviewFrame（）”调用不能放入队列或其他东西，因为每次调用后都会重用该数组。必须尽快返回呼叫以获得更好的帧速率。

所以这就是你可以做的事情（我做了它并得到了29 FPS）

1. 通过JNI调用将数组传递给Native c或c ++库

2. 在C程序中实现队列并malloc节点以存储此数组

3. 内存复制数组并返回呼叫。

4. 并回复电话

5. 对节点进行排队以便处理和排队节点以使用某些编码器进行处理，例如FFMPEG

6. 运行此排队过程和并行编码过程，以便在对帧进行编码后，可以从内存中清除该内存以防止内存溢出。

7. 请记住选择最佳分辨率，使编码器与输入帧速率匹配，以免因队列而导致内存溢出。