如何使用mongoDB对泰语字段进行排序

时间:2013-07-31 07:44:21

标签: mongodb

如何使用mongoDB对Thai字段进行排序,如下面的SQL命令?

SELECT * FROM employee ORDER BY CONVERT(name USING tis620)

2 个答案:

答案 0 :(得分:1)

目前,MongoDB不可能按“Unicode Code Point”排序。我们的问题跟踪器中存在一个问题:https://jira.mongodb.org/browse/SERVER-1920跟踪对MongoDB中包含基于区域设置和不区分大小写的排序。

答案 1 :(得分:0)

实际上,有一种方法! (虽然这是一个黑客。)

我知道这是一个较旧的主题,但我认为无论如何都要回答它。

您绝对不希望在应用中进行排序,因为这意味着您必须将集合中的所有文档都放入内存中进行排序并返回所需的窗口。如果你的收藏很大,那么效率极低。数据库应该进行排序并将窗口返回给您。

但是,你说,MongoDB不支持对语言环境敏感的排序。你是如何解决这个问题的?神奇的是“排序键”的概念。

基本上,假设您有从“a”到“z”的常规英语/拉丁字母。你要做的是创建一个从“a”到“01”,从“b”到“02”等,到“z”到“26”的排序键映射。也就是说,将每个字母映射到该语言的排序顺序中的数字,然后将该数字编码为字符串。然后,将要排序的字符串映射到此类排序键。例如,“abc”将变为“010203”。然后使用属性的排序键为文档添加属性,并使用语言环境的名称追加属性的名称:

{
    name: "abc",
    name_en: "010203"
}

现在,您可以通过索引属性“name_en”对语言“en”进行排序,并对选择器和范围使用普通的基于英语的简单MongoDB排序,而不是“name”属性。

现在,假设你有另一种疯狂的语言“xx”,其中字母顺序是“acb”而不是“abc”。 (是的,有些语言会以这种方式混淆拉丁字母的顺序!)排序键将是这样的:

{
    name: "abc",
    name_en: "010203",
    name_xx: "010302"
}

现在,您所要做的就是在name_en和name_xx上创建索引并使用常规MongoDB排序,以便在这些区域设置上正确排序。基本上,额外的属性是在不同语言环境中进行排序的代理。

那你在哪里得到这些映射?毕竟,你不是全球化专家,对吗?

好吧,如果您使用的是Java,C或C ++,那么您可以使用现成的类来为您执行此映射。在Java中,使用标准Collat​​or类,或使用icu4j Collat​​or类。如果您使用的是C / C ++,请使用ICU Collat​​or函数/类的C / C ++版本。对于其他语言,除非你能找到一个已经完成它的库,否则你有点不幸。

我知道Java和ICU都支持泰语语言环境,并且可以在泰语中进行适当的排序。只需确保所有字符串都以UTF-8正确编码。

以下是一些可以帮助您找到它们的链接:

标准Java库Collat​​or:http://docs.oracle.com/javase/7/docs/api/java/text/Collator.html#getCollationKey(java.lang.String)

C ++ Collat​​or类:http://icu-project.org/apiref/icu4c/classicu_1_1Collator.html#ae0bc68d37c4a88d1cb731adaa5a85e95

您还可以创建不同的排序键,允许您按区域设置不区分大小写(是的,大小写映射是区域设置敏感!)和不区分重音,Unicode变体不敏感,或上述任意组合。唯一的问题是,现在您有许多属性与每个可排序属性并行,并且在更新基本“name”属性时必须保持它们全部同步。这是你所知道的痛苦,但仍然比在你的应用程序或业务逻辑层进行排序更好。

还要注意带范围的游标。例如,在英语中,我们只是忽略字符的重音。因此,“Ö”以与“O”相同的方式排序,它将出现在“M”到“Z”的范围内。但是,在瑞典语中,重音字符排在“Z”之后。所以,如果你做一个范围“M” - “Z”,你将包括一堆以“Ö”开头的记录,这些记录应该是英文版,但不是瑞典文。

如果您拆分文档的文本属性,这也会对分片产生影响。小心哪个范围进入哪个分片。最好对那些不像语言环境敏感的东西进行分片,比如哈希。