Question

我实际上是想在带有ARKit 的QRCode上放置一个 3D对象为此我使用 AVCaptureDevice 来检测QRCode并建立QRCode的区域，该区域为我提供了 CGRect 。然后，我在CGRect的每个点上创建一个 hitTest 来获得平均3D坐标，如下所示：

positionGiven = SCNVector3(0, 0, 0) for column in Int(qrZone.origin.x)...2*Int(qrZone.origin.x + qrZone.width) { for row in Int(qrZone.origin.y)...2*Int(qrZone.origin.y + qrZone.height) { for result in sceneView.hitTest(CGPoint(x: CGFloat(column)/2,y:CGFloat(row)/2), types: [.existingPlaneUsingExtent,.featurePoint]) { positionGiven.x+=result.worldTransform.columns.3.x positionGiven.y+=result.worldTransform.columns.3.y positionGiven.z+=result.worldTransform.columns.3.z cpts += 1 } } } positionGiven.x=positionGiven.x/cpts positionGiven.y=positionGiven.y/cpts positionGiven.z=positionGiven.z/cpts

但是hitTest没有检测到任何结果并冻结相机，而当我通过屏幕触摸进行hitTest时它可以工作。你知道它为什么不起作用吗？你有其他想法可以帮助我实现我想做的事吗？

我已经考虑过使用CoreMotion进行 3D翻译，这可以让我倾斜设备，但这看起来真的很乏味。我也听说过 ARWorldAlignmentCamera 可以锁定场景坐标以匹配相机的方向，但我不知道如何使用它！

编辑：我每次触摸屏幕时都会尝试移动3D对象并且hitTest为正，这非常准确！我真的不明白为什么像素区域上的hitTest不起作用......

编辑2 ：以下是在屏幕上使用2-5次触摸的hitTest的代码：

@objc func touch(sender : UITapGestureRecognizer) { for result in sceneView.hitTest(CGPoint(x: sender.location(in: view).x,y: sender.location(in: view).y), types: [.existingPlaneUsingExtent,.featurePoint]) { //Pop up message for testing alert("\(sender.location(in: view))", message: "\(result.worldTransform.columns.3)") //Moving the 3D Object to the new coordinates let objectList = sceneView.scene.rootNode.childNodes for object : SCNNode in objectList { object.removeFromParentNode() } addObject(SCNVector3(result.worldTransform.columns.3.x,result.worldTransform.columns.3.y,result.worldTransform.columns.3.z)) } }

编辑3 ：我设法部分地解决了我的问题。

我使用相机的变换矩阵（session.currentFrame.camera.transform），使对象位于相机前面。然后我在（x，y）上应用CGRect位置的转换。但是我无法翻译z轴，因为我没有足够的信息。我可能需要像hitTest一样估计z坐标。

提前致谢！：）

Answer 1

您可以使用Apple's Vision API检测QR码并放置锚点。

要开始检测QR码，请使用：

 var qrRequests = [VNRequest]()
 var detectedDataAnchor: ARAnchor?
 var processing = false

 func startQrCodeDetection() {
    // Create a Barcode Detection Request
    let request = VNDetectBarcodesRequest(completionHandler: self.requestHandler)
    // Set it to recognize QR code only
    request.symbologies = [.QR]
    self.qrRequests = [request]
}

在ARSession的{{1}}

中

didUpdate Frame

处理Vision QR请求并触发点击测试

public func session(_ session: ARSession, didUpdate frame: ARFrame) {
    DispatchQueue.global(qos: .userInitiated).async {
        do {
            if self.processing {
              return
            }
            self.processing = true
            // Create a request handler using the captured image from the ARFrame
            let imageRequestHandler = VNImageRequestHandler(cvPixelBuffer: frame.capturedImage,
                                                            options: [:])
            // Process the request
            try imageRequestHandler.perform(self.qrRequests)
        } catch {

        }
    }
}

然后在添加锚点时添加节点的句柄。

func requestHandler(request: VNRequest, error: Error?) {
    // Get the first result out of the results, if there are any
    if let results = request.results, let result = results.first as? VNBarcodeObservation {
        guard let payload = result.payloadStringValue else {return}
        // Get the bounding box for the bar code and find the center
        var rect = result.boundingBox
        // Flip coordinates
        rect = rect.applying(CGAffineTransform(scaleX: 1, y: -1))
        rect = rect.applying(CGAffineTransform(translationX: 0, y: 1))
        // Get center
        let center = CGPoint(x: rect.midX, y: rect.midY)

        DispatchQueue.main.async {
            self.hitTestQrCode(center: center)
            self.processing = false
        }
    } else {
        self.processing = false
    }
}

 func hitTestQrCode(center: CGPoint) {
    if let hitTestResults = self.latestFrame?.hitTest(center, types: [.featurePoint] ),
        let hitTestResult = hitTestResults.first {
        if let detectedDataAnchor = self.detectedDataAnchor,
            let node = self.sceneView.node(for: detectedDataAnchor) {
            let previousQrPosition = node.position
            node.transform = SCNMatrix4(hitTestResult.worldTransform)

        } else {
            // Create an anchor. The node will be created in delegate methods
            self.detectedDataAnchor = ARAnchor(transform: hitTestResult.worldTransform)
            self.sceneView.session.add(anchor: self.detectedDataAnchor!)
        }
    }
}

Source

ARKit - 如何将3D对象放在QRCode上？

1 个答案: