对象检测ARKit与CoreML

时间:2018-10-10 16:52:41

标签: artificial-intelligence augmented-reality arkit ios12 coreml

我正在为iPhone构建' - '应用程序。我需要检测特定的香水瓶并根据检测到的内容显示内容。我使用来自developer.apple.com的演示应用程序扫描了现实世界的对象并导出了可以在资产中使用的ARKit文件。尽管由于瓶子是从玻璃杯中检测出来的,所以效果很好,但是效果很好。它仅在2-30秒范围内进行扫描或根本不进行扫描的位置进行检测。合并扫描并不能改善情况,这会使情况变得更糟。合并结果可能具有奇怪的方向。

该怎么办?

如果什么都没有,.arobject会帮助我吗?我可以拍很多照片并教模特。如果我要检查每个框架与该型号的匹配情况怎么办?这样的办法有机会吗?

1 个答案:

答案 0 :(得分:2)

由于玻璃折射现象和不同的照明条件,香水瓶的对象识别过程(在ARKit和CoreML中)是最复杂的过程。

看下面的图片–在不同位置有三个玻璃球:

enter image description here

这些玻璃球具有不同的菲涅耳IOR(折射率),环境,相机的视点,尺寸和照明条件。但是它们具有相同的形状,材料和颜色。

  

因此,加快识别过程的最佳方法是使用相同的背景/环境(例如单色浅灰色BG纸),相同的照明条件(光线的位置,强度,颜色和方向),良好的形状易读性(由于镜面高光)和相机的POV相同。

enter image description here

我知道,有时候无法遵循这些提示,但是这些提示正在起作用。