Question

我目前正在尝试使用Javascript中的用户定义函数计算BigQuery中两个二进制字符串之间的汉明距离，我的架构非常简单：

row_id        STRING    
descriptors   BYTES REPEATED    
phash         BYTES

我发现有点令人困惑的是，您显然将BigQuery中的BYTES作为Base64字符串处理，我导入了函数atob()和btoa()，因此我可以使用字节字符串的二进制形式而不是Base64表示：

我的查询目前看起来像这样：

CREATE TEMP FUNCTION f_PHASH_distance(ph1 BYTES, ph2 BYTES)
    RETURNS INT64
   LANGUAGE js AS
   """
        return HammingDistance(ph1, ph2);
   """
    OPTIONS (
        library=["gs://test.appspot.com/HammingDistance.js",
                 "gs://test.appspot.com/btoa_atob.js"]
    );

SELECT f_PHASH_distance(phash, CAST("9Slp3g9OgVI=" AS BYTES)) 
  FROM ims.images WHERE row_id = "2333USX"

id =＆＃34; 2333USX＆＃34; phash等于＆＃34; 9Slp3g9OgVI =＆＃34;在base64中，这意味着汉明距离是0.但是我现在得到的是BigQuery上的35。

HammingDistance.js具有以下内容：

function HammingDistance(a, b){
    var count = 0;
    for(var i = 0; i < a.length; i++){
        // calculate XOR between the two chars
        var xor = a.charCodeAt(i) ^ b.charCodeAt(i);
        // count number of 1's on the result
        for(var j = 0; j < 16; j++){
            //add if LSB is 1
            count += xor % 2;
            //right shift the variable
            xor = xor >> 1;
        }
    }
    return count;
}

/**
 *  Calculates the distance between two Perceptual hashes of two images encoded
 *  in base 64
 */
function PHASHDistance(a, b){
    return HammingDistance(atob(a), atob(b));
}

在我的浏览器的JS控制台中测试它确实得到了预期的结果。所以我假设我在演员表面做错了，但是在带有BYTE参数的UDF上文档非常缺乏。

非常感谢任何帮助。

Answer 1

看起来问题是您将"9Slp3g9OgVI="转换为字节而不是将其从base64转换为字节。我想你想要这个：

SELECT f_PHASH_distance(phash, FROM_BASE64("9Slp3g9OgVI=")) 
FROM ims.images WHERE row_id = "2333USX"

但是，您可能最好使用SQL函数而不是JavaScript函数，因为JavaScript通常不会那么快。这里是SQL中的汉明距离实现，假设字节长度相等：

#standardSQL
CREATE TEMP FUNCTION HammingDistance(b1 BYTES, b2 BYTES) AS (
  BIT_COUNT(b1 ^ b2)
);

WITH Input AS (
  SELECT b'defdef' AS bytes UNION ALL
  SELECT b'123de4' UNION ALL
  SELECT b'abc123'
)
SELECT HammingDistance(b'abcdef', bytes)
FROM Input;

它取两个字节值的按位XOR，然后检查有多少位不相同。

Answer 2

如果有人在比较常规字符串（而不是二进制字符串作为此问题）的情况下正在寻找解决方案，look at my answer here

BigQuery UDF使用BYTES数据类型

2 个答案: