Question

我是Android开发的新手 - 我正在使用Xamarin。

我正在尝试编写一个启动摄像头预览的应用程序，然后不断扫描传入的帧文本（我正在使用NuGet的Xamarin.Tesseract）。

换句话说，我不想让用户拍照然后进行OCR分析，而我希望他们只是将摄像机对准某些带有文字的纸张，我会不断地做OCR分析，直到我检测到我正在搜索的特定文本），此时我会对用户大加赞赏。

这是我到目前为止的方法：

初始化相机并设置预览回调

_Camera = Android.Hardware.Camera.Open();          
_Camera.SetPreviewCallback(this); 
_Camera.StartPreview();

在Callback中，取代表当前帧的字节，并将其作为Xamarin.Tesseract的输入图像字节传递

public void OnPreviewFrame(byte[] data, Android.Hardware.Camera camera)
{        
await _TesseractApi.SetImage(data); /// this hangs                
string text = _Api.Text;
return text;          
}

当将byte []传递给Tesseract API时，这当前会挂起。我很确定这是因为数组中的字节编码错误，或者我从根本上不了解Camera api！

任何人都可以在写作方向上轻推一下吗？

Answer 1

查看TesseractApi.SetImage(byte[])的代码，它正在调用BitmapFactory.DecodeByteArray()，它需要一个有效的位图。

不幸的是，相机预览会返回一个YUV图像， BitmapFactory 不支持。

以下是将YUV图像转换为JPEG的代码，然后将其传递给Tesseract。

private byte[] ConvertYuvToJpeg(byte[] yuvData, Android.Hardware.Camera camera)
{
    var cameraParameters = camera.GetParameters();
    var width = cameraParameters.PreviewSize.Width;
    var height = cameraParameters.PreviewSize.Height;
    var yuv = new YuvImage(yuvData, cameraParameters.PreviewFormat, width, height, null);   
    var ms = new MemoryStream();
    var quality = 80;   // adjust this as needed
    yuv.CompressToJpeg(new Rect(0, 0, width, height), quality, ms);
    var jpegData = ms.ToArray();

    return jpegData;
}

相机预览和OCR

1 个答案: