Question

我怀疑我希望你能解决它。

我想以统一的方式创建一个Android应用程序。该应用程序包括激活设备的摄像头并在屏幕上查看。为此，我想基于基于OpenCV的本机C ++代码。

我有生成的代码，但是当我运行应用程序时，我看到了场景而不是图像，我觉得这是因为OpenCV的VideoCapture功能我没有很好地使用它。你能帮帮我我附上代码：

C ++：

__declspec(dllexport) void iniciar(int& widt, int& heigh) {
camera.open(0);
if (!camera.isOpened())
{
    return;
}
widt = (int)camera.get(CV_CAP_PROP_FRAME_WIDTH);
heigh = (int)camera.get(CV_CAP_PROP_FRAME_HEIGHT);
trueRect.x = 5;
trueRect.y = 5;
trueRect.width = 100;
trueRect.height = 100;
midX = 1;
midY = 1;
wi = 0;
he = 0;
}


__declspec(dllexport)
void video(unsigned char* arr) {
Mat frame;
Mat resi;
Mat dst;//dst image
camera >> frame;
if (frame.empty()) {
    return;
}
flip(frame, dst,1);
//resize(dst, resi, Size(width, height));
cv::cvtColor(dst, dst, COLOR_BGR2RGB);
copy(dst.datastart, dst.dataend, arr);
}

C＃：

public class camara : MonoBehaviour {

[DllImport("NativoPrincipio")]
public static extern void video(byte[] img);

[DllImport("NativoPrincipio")]
public static extern void iniciar(ref int widt, ref int heigh);

WebCamTexture back;
Texture2D textura;
byte[] imgData;
int width = 0;
int height = 0;


// Use this for initialization
void Start () {
    back = new WebCamTexture();
    //GetComponent<Renderer>().material.mainTexture = back;
    //back.Play();
    iniciar(ref width, ref height);
}

// Update is called once per frame
void Update ()
{
    imgData = new byte[width * height * 4];
    video(imgData);
    textura = new Texture2D(width, height, TextureFormat.RGB24, false);
    textura.LoadRawTextureData(imgData);
    textura.Apply();
    GetComponent<Renderer>().material.mainTexture = textura;
    imgData = null;
    textura = null;

}}

Answer 1

如果您已将整个代码托管在GitHub上，或者您可以创建一个要点可能会更好。

但是，我认为你的相机框是空的。

我将尝试列举为什么会发生这种情况。

首先，opencv视频捕获类 camera.open（0）在没有ffmpeg的情况下不起作用（对于Android Native来说不容易交叉编译）。
- 如果你想在android中使用c ++中的原生相机，你需要使用api 24的最新ndk。
我看到你正在使用Unity的WebCamTexture类，但这个抓取的纹理几乎可能是空的，因此你会在图像中看到黑屏。

您是否尝试在Unity插件中搜索opencv？我唯一看到的是这个（不是免费的）： https://www.assetstore.unity3d.com/en/#!/content/21088

如果这不起作用，你有没有办法粘贴统一项目的java代码？因为java中的相机捕获非常容易。希望这些线索能帮到你。

Ondo izan eta animo。

垂发。

Answer 2

在盯着您的代码几分钟后，我发现您的代码中出现了一些错误。

1 。您在C ++端使用COLOR_BGR2RGB。因为您在C＃端使用COLOR_BGR2BGRA，所以应该是TextureFormat.RGB24。

2 。如果要在C ++插件中修改C＃数组，必须将其固定在内存中。修改后，您可以取消固定。如果你不这样做，你将遇到一个让你永远无法找到的错误。

使用fixed关键字固定数组，然后将其转换为IntPtr，并将其作为IntPtr传递给视频函数。传递数组大小总是一个好主意，这样你就不会使用不存在的索引。

这样的事情：

[DllImport("NativoPrincipio")]
public static extern void video(IntPtr img, int count);

...

//Pin Memory
fixed (byte* p = imgData)
{
    video((IntPtr)p, imgData.Length);
}

3 。最后，这是可选的，但您可能希望使用Java从相机读取图像，然后使用C ++将图像传递给OpenCV。我见过许多人通过使用OpenCV从相机读取而遇到问题，更不用说它也很慢。

基于原生OpenCV的统一Android应用程序

2 个答案: