Question

我现在正在使用Google Tango，到目前为止一切正常，但我偶然发现了一些奇怪的事情。

Tango示例中有一个类ScenePoseCalculator。并且有一种方法＆＃34; toOpenGlCameraPose＆＃34;。使用此功能时，OpenGL摄像机的设置不正确。当我向前移动时，相机向后移动。左右交换也是如此。

但最困难的是正确转换PointCloud。我做了以下事情：

创建一个Vector3-Array：

Vector3f [] vertices = new Vector3f[mPointCloud.getGeometry().getVertices().capacity()];
    for(int i=0; i<mPointCloud.getGeometry().getVertices().capacity(); i++) {
        vertices[i] = new Vector3f(
            mPointCloud.getGeometry().getVertices().get(i*3), 
            mPointCloud.getGeometry().getVertices().get(i*3+1),
            mPointCloud.getGeometry().getVertices().get(i*3+2));
    }

在TangoListener的PointCloud Callback中我做了：

private void updateXYZIJ() {

    try {
        if(pcm.getLatestXyzIj().xyzCount<10) return;

        TangoCoordinateFramePair fp = new TangoCoordinateFramePair(
            TangoPoseData.COORDINATE_FRAME_START_OF_SERVICE,
            TangoPoseData.COORDINATE_FRAME_DEVICE);

        TangoXyzIjData xyzIj = pcm.getLatestXyzIj();
        depthArray = new float[xyzIj.xyzCount * 3];
        xyzIj.xyz.get(depthArray);

        com.projecttango.rajawali.Pose p = 
            ScenePoseCalculator.toDepthCameraOpenGlPose(
                tangoProvider.getTango().getPoseAtTime( 
                    xyzIj.timestamp, fp), this.setupExtrinsics());

        Pose cloudPose = this.rajawaliPoseToJMEPoseCLOUD(p);

        currentPointCloudData = new PointCloudUpdate(
            new Date(),
            depthArray,
            xyzIj.xyzCount,
            xyzIj.ijRows,
            xyzIj.ijCols,
            0,
            cloudPose,
            null
        );

        // inform listeners
        for (PointCloudListener listener : this.pointsListeners) {
            listener.acceptMessage(tangoProvider, this.currentPointCloudData);
        }

    } catch (Exception e) {
        e.printStackTrace();
    }
}

为了转换PointCloud，我做了：

this.transformation = new Matrix4f();
    this.transformation.setRotationQuaternion(
        this.referencePose.orientation);
    this.transformation.setTranslation(this.referencePose.place);

absVertices = new Vector3f[vertices.length];
    for(int i=0; i<vertices.length; i++) {

        // Create new Vertex
        absVertices[i]=new Vector3f(
            vertices[i].x,
            vertices[i].y,
            vertices[i].z
        );

        Vector3f v = absVertices[i];

        transformation.rotateVect(absVertices[i]);
        transformation.translateVect(absVertices[i]);
    }

但无论我做什么。我尝试了一切。但它看起来不对劲。 PointClouds彼此装订或看起来像放置在没有任何意义的位置。

希望有人知道更多...

Answer 1

对于仍然希望了解如何执行此操作的所有人，我只是在jMOnkeyEngine3中进行了管理。秘诀是，必须使用Tango提供的旋转四元数的逆转。

好的，这是它的工作原理：

使用回调获取深度数据：

public void onXyzIjAvailable(TangoXyzIjData xyzIj)

从xyz-Array创建一个顶点数组：

// Create new array, big enough to hold all vertices
        depthArray = new float[xyzIj.xyzCount * 3];
        xyzIj.xyz.get(depthArray);

        // Create Vertices
        Vector3f[] vertices = new Vector3f[xyzIj.xyzCount];
        for(int i=0; i<xyzIj.xyzCount; i++) {
            vertices[i] = new Vector3f(
                depthArray[i*3],
                depthArray[i*3+1], 
                depthArray[i*3+2]);
        }

使用Rajawali3d中的ScenePoseCalculator：

com.projecttango.rajawali.Pose p = ScenePoseCalculator
            .toDepthCameraOpenGlPose(tangoProvider.getTango().getPoseAtTime( 
                  xyzIj.timestamp, framePair_SS_D), this.setupExtrinsics());

必须先订购设备内在函数，但请记住在TRY / CATCH附件中进行。

之后，从Tango Pose获取旋转四元数和姿势Vector3：

Pose cloudPose = this.rajawaliPoseToJMEPoseCLOUD(p);

这个方法在这里定义：

private Pose rajawaliPoseToJMEPoseCLOUD(com.projecttango.rajawali.Pose p) {
    Pose pose = new Pose(
        new Vector3f(
            (float)p.getPosition().x, 
            (float)p.getPosition().y, 
            (float)p.getPosition().z),
        new Quaternion(
            (float)p.getOrientation().x,
            (float)p.getOrientation().y,
            (float)p.getOrientation().z,
            (float)p.getOrientation().w
        ));

    return pose;
}

然后将顶点放在一个节点中，并使用相应的XYZIJ-Data的Pose Data转换该节点：

meshNode.setLocalRotation(pcu.referencePose.orientation.inverse());
    meshNode.setLocalTranslation(pcu.referencePose.place);

希望它有所帮助。花了我4天的时间来弄清楚x（

干杯

无法找到如何改造Tango Point Cloud

1 个答案: