Question

我正在尝试在Android中使用3D（OpenGL ES）实现“whack-a-mole”类型的游戏。现在，我在屏幕上的任何给定时间都有一个3D形状（旋转立方体）代表我的“痣”。我的视图中有一个触摸事件处理程序，它在我的渲染器中随机设置一些x，y值，导致立方体移动（使用glTranslatef（））。

我还没有遇到任何将屏幕触摸事件完全桥接到3D场景的教程或文档。我已经做了大量的工作来到达我所处的位置，但我似乎无法在剩下的时间里弄清楚这一点。

从developer.andrdoid.com我正在使用我认为可以被认为是矩阵的辅助类：MatrixGrabber.java，MatrixStack.java和MatrixTrackingGL.java。

我在我的GLU.glUnProject method中使用那些应该从真实屏幕坐标转换为3D或对象坐标的类。

段：

    MatrixGrabber mg = new MatrixGrabber();
    int viewport[] = {0, 0, renderer._width, renderer._height};
    mg.getCurrentModelView(renderer.myg);
    mg.getCurrentProjection(renderer.myg);
    float nearCoords[] = { 0.0f, 0.0f, 0.0f, 0.0f };
    float farCoords[] = { 0.0f, 0.0f, 0.0f, 0.0f };
    float x = event.getX();
    float y = event.getY();
    GLU.gluUnProject(x, y, -1.0f, mg.mModelView, 0, mg.mProjection , 0, viewport, 0, nearCoords, 0)
    GLU.gluUnProject(x, y, 1.0f, mg.mModelView, 0, mg.mProjection , 0, viewport, 0, farCoords, 0)

此代码段执行时没有错误，输出看起来不正确。我知道屏幕左下角有原点（0,0）。至少我的三维场景似乎就像经典的笛卡尔系统一样位于屏幕中间。因此，在触摸左下角的情况下运行我的代码，其中屏幕坐标为（0,718）。我从上一个参数到gluUnProject的输出是：

近：{ - 2.544,2.927,2.839,1.99}

远：{0.083,0.802，-0.760,0.002}

这些数字对我没有任何意义。我的触摸甚至在第三象限，所以我所有的近，远的x，y值都应该是负数，但它们不是。 gluUnProject文档没有提到任何转换屏幕坐标的需要。然后，相同的文档会让你相信Near和Far应该是大小为3的数组，但是它们必须是大小为4而且我没有CLUE为什么。

所以，我有两个问题（我肯定会有更多问题）。

我怎样才能确保我能够获得适当的近距离和远距离基于屏幕坐标的坐标。
一旦我有近坐标和远坐标，我该如何使用它来查找它们创建的线是否与屏幕上的对象相交。

Answer 1

我记得在大学期间我在Android上运行了glUnProject的问题。（那是在Android的早期）我的一位同学发现我们的计算会被glUnProject结果中的第四维度所破坏。如果我没记错的话，这是在某处记录的东西，但由于某种原因，我无法重新挖掘它。我从来没有深入研究它的具体细节，但也许帮助我们的东西也可能对你有用。这可能与我们应用的数学有关...

/**
 * Convert the 4D input into 3D space (or something like that, otherwise the gluUnproject values are incorrect)
 * @param v 4D input
 * @return 3D output
 */
private static float[] fixW(float[] v) { 
    float w = v[3];
    for(int i = 0; i < 4; i++) 
        v[i] = v[i] / w;
    return v;
}

我们实际使用上述方法来修复glUnProject结果，并对3D空间中的球形物体进行拾取/触摸/选择操作。下面的代码可能会提供有关如何执行此操作的指南。它只不过是投射光线并进行射线球相交测试。

可能使代码下方的一些其他注释更容易理解：

Vector3f是基于3个浮点值的3D矢量的自定义实现，并实现了常规的矢量操作。
shootTarget是3D空间中的球形物体。
0和getXZBoundsInWorldspace(0)等来电中的getPosition(0)只是一个索引。我们实现了3D模型动画，索引确定要返回的模型的“框架/姿势”。由于我们最终对非动画对象进行了此特定命中测试，因此我们总是使用第一帧。
Concepts.w和Concepts.h只是屏幕的宽度和高度（以像素为单位） - 或者对于全屏应用而言可能不同：屏幕的分辨率。

_

/**
 * Checks if the ray, casted from the pixel touched on-screen, hits
 * the shoot target (a sphere). 
 * @param x
 * @param y
 * @return Whether the target is hit
 */
public static boolean rayHitsTarget(float x, float y) {
    float[] bounds = Level.shootTarget.getXZBoundsInWorldspace(0);
    float radius = (bounds[1] - bounds[0]) / 2f;
    Ray ray = shootRay(x, y);
    float a = ray.direction.dot(ray.direction);  // = 1
    float b = ray.direction.mul(2).dot(ray.near.min(Level.shootTarget.getPosition(0)));
    float c = (ray.near.min(Level.shootTarget.getPosition(0))).dot(ray.near.min(Level.shootTarget.getPosition(0))) - (radius*radius);

    return (((b * b) - (4 * a * c)) >= 0 );

}

/**
 * Casts a ray from screen coordinates x and y.
 * @param x
 * @param y
 * @return Ray fired from screen coordinate (x,y)
 */
public static Ray shootRay(float x, float y){
    float[] resultNear = {0,0,0,1};
    float[] resultFar = {0,0,0,1};

    float[] modelViewMatrix = new float[16];
    Render.viewStack.getMatrix(modelViewMatrix, 0);

    float[] projectionMatrix = new float[16];
    Render.projectionStack.getMatrix(projectionMatrix, 0);

    int[] viewport = { 0, 0, Concepts.w, Concepts.h };

    float x1 = x;
    float y1 = viewport[3] - y;

    GLU.gluUnProject(x1, y1, 0.01f, modelViewMatrix, 0, projectionMatrix, 0, viewport, 0, resultNear, 0);
    GLU.gluUnProject(x1, y1, 50f, modelViewMatrix, 0, projectionMatrix, 0, viewport, 0, resultFar, 0);
    //transform the results from 4d to 3d coordinates.
    resultNear = fixW(resultNear);
    resultFar = fixW(resultFar);
    //create the vector of the ray.
    Vector3f rayDirection = new Vector3f(resultFar[0]-resultNear[0], resultFar[1]-resultNear[1], resultFar[2]-resultNear[2]);
    //normalize the ray.
    rayDirection = rayDirection.normalize();
    return new Ray(rayDirection, resultNear, resultFar);
}

/**
 * @author MH
 * Provides some accessors for a casted ray.
 */
public static class Ray {
    Vector3f direction;
    Vector3f near;
    Vector3f far;

    /**
     * Casts a new ray based on the given direction, near and far params. 
     * @param direction
     * @param near
     * @param far
     */
    public Ray(Vector3f direction, float[] near, float[] far){
        this.direction = direction;
        this.near = new Vector3f(near[0], near[1], near[2]);
        this.far = new Vector3f(far[0], far[1], far[2]);
    }
}

Answer 2

如何确保根据屏幕坐标获得正确的近和远坐标。

首先，如果您尚未阅读其他地方的GLU.glProject信息，请阅读this answer。 GLU.glUnProject执行该函数的确切反转，我发现它更容易理解，并有助于理解将屏幕坐标映射到对象空间的概念。至少为我工作。

如果你想测试你从GLU.glUnProject获得正确的值，那么如果你从一些易于理解的投影和模型 - 视图 - 矩阵开始，这是最简单的。这是我今天早些时候使用的代码片段;

  // Orthographic projection for the sake of simplicity.
  float projM[] = new float[16];
  Matrix.orthoM(projM, 0, -ratio, ratio, 1f, -1f, zNear, zFar);

  // Model-View matrix is simply a 180 degree rotation around z -axis.
  float mvM[] = new float[16];
  Matrix.setLookAtM(mvM, 0, 0f, 0f, eyeZ, 0f, 0f, 0f, 0f, 1f, 0f);
  Matrix.rotateM(mvM, 0, 180f, 0f, 0f, 1f);

  // (0, 0) is top left point of screen.
  float x = (width - (width / ratio)) / 2;
  float y = height;
  float objNear[] = new float[4];
  float objFar[] = new float[4];
  int view[] = { 0, 0 ,width, height };
  // --> objNear = { 1, 1, eyeZ - zNear  }
  GLU.gluUnProject(x, y, 0, mvM, 0, projM, 0, view, 0, objNear, 0);
  // --> objFar = { 1, 1, eyeZ - zFar }
  GLU.gluUnProject(x, y, 1, mvM, 0, projM, 0, view, 0, objFar, 0);

使用更复杂的模型视图和投影矩阵，验证您是否正在获得您期望的对象空间中的坐标变得相当困难。这可能是一个很好的起点，首先要使用一些易于理解的矩阵。一旦您对结果感到满意，您就不必担心GLU.glUnProject。

一旦我有近坐标和远坐标，我该如何使用它来查找它们创建的线是否与屏幕上的对象相交。

对于3d对象空间中的点击测试，最简单的方法是为对象预先计算bounding sphere或bounding box。一旦你想检查用户是否点击了一个对象，并且在对象空间中有两个屏幕点unProjected，你就会在对象空间的一行上有两个点。

如果您使用的是边界球，则可以使用此线计算intersection points，或者只计算球体中心点distance。在前一种情况下，应该至少有一个交叉点，而后一个交叉点应该小于球半径。

对于边界框this question是一个很好的阅读。

处理3D“场景”中的触摸事件或屏幕到3D坐标

2 个答案: