Project Tango Point Cloud Translations and Rotations

Question

我想使用Tango设备捕获Point Cloud图像并将其保存到文件中。从那里我可以将各个点云组合在一起，形成建筑物内部的完整3D图像。 我已经修改了（google tango官方github页面）中的PointCloudJava应用程序以包含一个按钮，每次按下它时，当前可查看的Point Cloud将以二进制格式与其Pose数据一起保存到文件中。 外部应用程序将二进制点云转换为人类可读的.PTS格式。以下是此.PTS文件的片段...

…
3.695209841412947 -0.473210369136531 -4.512059939636327
3.688643257302687 -0.479607720759112 -4.520564449562169
3.693362633866713 -0.489787657644946 -4.520674956573583
3.689930121583388 -0.445884992268283 -4.507568610443212
3.685492555779860 -0.462776307847697 -4.512719524635411
3.667657594365523 -0.480809484508235 -4.535319340957738
3.687827806157515 -0.496090938236911 -4.526998413337804
3.673954348248885 -0.508897741224963 -4.541318190826512
3.666625241918013 -0.498062555577952 -4.540336502327062
3.678675393742964 -0.474170316841799 -4.529156101478673
3.684755723161147 -0.485069070842463 -4.528201831115819
3.680454175156996 -0.519459594872195 -4.541313899292089
3.673863212747023 -0.492040087368685 -4.534148228897191
3.683874587697432 -0.502062504079539 -4.534162414802648
3.662268142384932 -0.486682941105563 -4.540854943527318
3.659110169095442 -0.521473725226123 -4.556032908691503
3.673068563622878 -0.526471559789378 -4.549449575676061
…

这是我的Pose文件的片段......

Snapshot Event ID: 0
Translation: -2.828956167382643 3.18717159105692 0.4915560231473033
Quarternion: 0.7047427543062862 0.6239282881689626 0.23707690815727211 0.2405112909905187
Accuracy: 4.2E-45
Confidence: 1688685432

Snapshot Event ID: 1
Translation: -2.796160158125086 4.193282171082194 0.5346153464487627
Quarternion: 0.4973877606777205 0.4648489837872261 0.515537924119383 0.520328248891662
Accuracy: 4.2E-45
Confidence: 1687633528

Snapshot Event ID: 2
Translation: -3.504446692020165 3.1853833575251675 0.5117019018999412
Quarternion: 0.6256551950823549 0.5778181469917516 -0.3583361921431137 -0.3824616834061323
Accuracy: 4.2E-45
Confidence: 1687858272 

快照ID是我将Pose数据链接到Point Cloud的方法;和Quaternion的格式为WXYZ。

这通常适用于我认为的单个点云，在我交换Point Cloud中每个点的Y轴和Z轴后，我看到了......

原始图片

点云图像（在云比较中加载）

这通常是我所期待的。

当我尝试将多台PC组合在一起形成建筑物的完整3D内部时，就会出现问题。

我通过将相应姿势数据中的XY和Z坐标相应地添加到点云中的每个XY和Z点来翻译点云。不确定这是否正确。然后我像以前一样交换了Y和Z.如果我这样做，大多数点云会相互倾倒，但这是可以预料的，因为我还没有（并且不确定如何）应用旋转。

这是我执行此操作的一般方法......

for (File file : files) {
    if (FilenameUtils.getExtension(file.getAbsolutePath()).equals("dat")) {
        PointCloud cloud = PointCloud.newInstance(file.toURI().toURL());
        if (poseMap.containsKey(cloud.getEventID())) {
            Pose pose = poseMap.get(cloud.getEventID());
            //cloud = cloud.rotate(pose);
            cloud = cloud.translate(pose);
        }
        cloud = cloud.invertYandZ();
        //cloud = cloud.invertAllAxis();
        String absFilename = ptsFolderTxt.getText() + '\\' + FilenameUtils.getBaseName(cloud.getFilename()) + ".pts";
        cloud.write(absFilename);

正如你所看到的，我尝试了一种旋转方法，但它似乎没有用，所以我对它进行了评论。

旋转方法将此应用于每个点...

ThreeDPoint rotatePoint(ThreeDPoint oldPoint)
{
    float ox = oldPoint.getxPoint().floatValue();
    float oy = oldPoint.getyPoint().floatValue();
    float oz = oldPoint.getzPoint().floatValue();

    float qx = quaternion.getX().floatValue();
    float qy = quaternion.getY().floatValue();
    float qz = quaternion.getZ().floatValue();
    float qw = quaternion.getW().floatValue();

    float newX = (float)((1-2*qy*qy-2*qz*qz)*ox+(2*qx*qy+2*qw*qz)*oy+(2*qx*qz-2*qw*qy)*oz);
    float newY = (float)((2*qx*qy-2*qw*qz)*ox+(1-2*qx*qx-2*qz*qz)*oy+(2*qy*qz+2*qw*qx)*oz);
    float newZ = (float)((2*qx*qz+2*qw*qy)*ox+(2*qy*qz-2*qw*qx)*oy+(1-2*qx*qx-2*qy*qy)*oz);

    return ThreeDPoint.newInstance(BigDecimal.valueOf(newX), BigDecimal.valueOf(newY), BigDecimal.valueOf(newZ));
}

但正如我所说，这似乎不合适？

我的翻译方法可以吗？

如何使用姿势文件中的四元数来旋转每台PC？一些代码示例非常好。

我应用这些变换的顺序是什么？

非常感谢向正确的方向发展。

Answer 1

发生的事情是您没有在正确的参照系中转换点云。使用此帖子中的解决方案：Convert device pose to camera pose

在答案中它假设是OpenGL约定，但您可以使用类似的技术将该点转换为任何约定。