Question

以下计算在spark mlib库中给出以找到欧氏距离

private[mllib] def fastSquaredDistance(
      v1: Vector,
      norm1: Double,
      v2: Vector,
      norm2: Double,
      precision: Double = 1e-6): Double = {
    val n = v1.size
    require(v2.size == n)
    require(norm1 >= 0.0 && norm2 >= 0.0)
    val sumSquaredNorm = norm1 * norm1 + norm2 * norm2
    val normDiff = norm1 - norm2
    var sqDist = 0.0

    val precisionBound1 = 2.0 * EPSILON * sumSquaredNorm / (normDiff * normDiff + EPSILON)
    if (precisionBound1 < precision) {
      sqDist = sumSquaredNorm - 2.0 * dot(v1, v2)
    } else if (v1.isInstanceOf[SparseVector] || v2.isInstanceOf[SparseVector]) {
      val dotValue = dot(v1, v2)
      sqDist = math.max(sumSquaredNorm - 2.0 * dotValue, 0.0)
      val precisionBound2 = EPSILON * (sumSquaredNorm + 2.0 * math.abs(dotValue)) /
        (sqDist + EPSILON)
      if (precisionBound2 > precision) {
        sqDist = Vectors.sqdist(v1, v2)
      }
    } else {
      sqDist = Vectors.sqdist(v1, v2)
    }
    sqDist
  }

我对机器学习很陌生。我的问题是如何通过修改上述代码找到曼哈顿距离。

Answer 1

在没有任何其他背景的情况下，我建议以明显天真的方式实施L1距离：

d_manhatten(u,v) = sum( abs(u[i] - v[i]), i)     // Pseudocode

现在，我还没有多看一下你的代码，但看起来很多（1）关注精度（与L2相比，这对于L1来说不是问题，因为没有正方形）和（2）使用L2规范作为输入（据我所知，这对于计算L1无用）。因此修改当前方法可能不那么有用。

另外，我听到很多过早优化是所有邪恶的根源，所以先尝试最简单的事情，如果不可接受，那么尝试混淆优化：）

将欧氏距离转换为曼哈顿距离

1 个答案: