代理对检测失败

时间:2015-03-31 02:05:11

标签: .net regex unicode f# surrogate-pairs

我正在研究F#中的一个小方案项目,其中涉及将现有的C#代码移植到F#,我似乎在两种语言之间处理正则表达式的方式有所不同(我发布这个有希望找到我只是做错了。)

这个次要功能只是使用概述here的正则表达式技巧来检测代理对。这是当前的实现:

let isSurrogatePair input =
    Regex.IsMatch(input, "[\uD800-\uDBFF][\uDC00-\uDFFF]")

如果我然后针对这样的已知代理对执行它:

let result = isSurrogatePair "野"
printfn "%b" result

我在FSI窗口中得到false

如果我使用等效的C#:

public bool IsSurrogatePair(string input)
{
    return Regex.IsMatch(input, "[\uD800-\uDBFF][\uDC00-\uDFFF]");
}

相同的输入值,我(正确)得到true

这是一个真正的问题吗?我只是在F#实现中做错了吗?

2 个答案:

答案 0 :(得分:8)

F#如何编码转义的Unicode字符似乎存在错误 这里来自F#Interactive(注意最后两个结果):

> "\uD500".[0] |> uint16 ;;
val it : uint16 = 54528us
> "\uD700".[0] |> uint16 ;;
val it : uint16 = 55040us
> "\uD800".[0] |> uint16 ;;
val it : uint16 = 65533us
> "\uD900".[0] |> uint16 ;;
val it : uint16 = 65533us

幸运的是,这种解决方法有效:

> let s = new System.String( [| char 0xD800 |] )
s.[0] |> uint16
;;

val s : System.String = "�"
val it : uint16 = 55296us

根据这一发现,我可以构建isSurrogatePair的更正版(或更确切地说是工作区):

let isSurrogatePair input =
  let chrToStr code = new System.String( [| char code |] )
  let regex = "[" + (chrToStr 0xD800) + "-" + (chrToStr 0xDBFF) + "][" + (chrToStr 0xDC00) + "-" + (chrToStr 0xDFFF) + "]"
  Regex.IsMatch(input,  regex)

此版本正确返回true作为您的输入。

我刚刚在GitHub上提交了此问题:https://github.com/Microsoft/visualfsharp/issues/338

答案 1 :(得分:2)

似乎这是一个合法的F#bug,没有参数。只想提出一些替代解决方法。


不要在字符串本身中嵌入问题字符,使用正则表达式的正常unicode支持指定它们。与unicode代码点XXXX匹配的正则表达式模式为\uXXXX,因此只需转义反斜杠或使用逐字字符串:

Regex.IsMatch(input, "[\\uD800-\\uDBFF][\\uDC00-\\uDFFF]")
// or
Regex.IsMatch(input, @"[\uD800-\uDBFF][\uDC00-\uDFFF]")

对unicode块使用内置的正则表达式支持:

// high surrogate followed by low surrogate
Regex.IsMatch(input, @"(\p{IsHighSurrogates}|\p{IsHighPrivateUseSurrogates})\p{IsLowSurrogates}")

或属性

// 2 characters, each of which is half of a surrogate pair
// (maybe could give false-positive if both are, e.g. low-surrogates)
Regex.IsMatch(input, @"\p{Cs}{2}")