PHP中的正则表达式:符合UTS18标准

时间:2012-06-19 03:50:17

标签: php regex unicode

Unicode公共区域设置数据存储库(CLDR)具有关于语言和字符之间关系的大量信息。例如,您可以通过查看misc.exemplarCharacters图表来确定特定语言中使用的字符。这些图表的原始数据存储为XML文件,示例字符根据Unicode正则表达式标准UTS18存储为正则表达式。

以下是UTS18正则表达式表达式的几个示例:

1. [a à b c ç d e é è f g h i í ï j k l ŀ m n o ó ò p q r s t u ú ü v w x y z]
2. [অ আ ই ঈ উ ঊ ঋ এ ঐ ও ঔ ং \u0981 ঃ ক খ গ ঘ ঙ চ ছ জ ঝ ঞ ট ঠ ড {ড\u09BC}ড় ঢ {ঢ\u09BC}ঢ় ণ ত থ দ ধ ন প ফ ব ভ ম য {য\u09BC} ৰ ল ৱ শ ষ স হ া ি ী \u09C1 \u09C2 \u09C3 ে ৈ ো ৌ \u09CD]
3. [a á b ɓ c d ɗ e é ɛ {ɛ\u0301} f g i í j k l m n {ny} ŋ o ó ɔ {ɔ\u0301} p r s t u ú ū w y]

我正在使用PHP和SimpleXML来解析XML数据并隔离这些正则表达式字符串。现在,我想将单个多字节字符与这些正则表达式进行匹配。我目前正在使用mb_ereg_match函数,它会产生以下一个或多个警告(取决于正则表达式):

mbregex compile err: premature end of char-class in ...
mbregex compile err: empty range in char class in ...
mbregex compile err: empty char-class in ...

关于为什么这不起作用的任何想法?

1 个答案:

答案 0 :(得分:2)

根据Sergey的建议,我在调用mb_ereg_match()函数之前添加了以下行:

mb_internal_encoding('UTF-8');
mb_regex_encoding('UTF-8');

此添加消除了上面列出的两个警告。我只留下了以下警告:

mbregex compile err: empty char-class in ...

经过一些额外的调试后,我发现少数CLDR XML文件确实包含空的正则表达式字符串。例如,在kn.xml中,我们有以下行:

<exemplarCharacters type="auxiliary">[]</exemplarCharacters>

我认为这些线路是错误的,因为预期的行为是完全放弃线路(在整个CLDR中大多是这种情况)。

因此,我能够通过简单地抛出空的正则表达式字符串来消除这个最后的错误。

希望这有助于其他人!