正则表达式对字符串字符进行Anglicize?

时间:2010-11-13 18:37:51

标签: regex unicode special-characters

是否有一个常用的正则表达式替换非英语语言中的所有已知特殊字符:

é, ô, ç, etc.

英文字符:

e, o, c, etc.

3 个答案:

答案 0 :(得分:11)

⅁⅁ɹʍpuɹʍɐIɅƎ

这是不可能做到的,你不应该这样做!它对整个世界都是冒犯的,如果人们无知地认为外墙与拱廊押韵,或科罗拉多州的卡农城属于正统法则,那就太天真了。

您可以通过Unicode规范化表单D运行字符串并丢弃标记字符,但我肯定不会告诉您如何,因为它是邪恶和错误。由于已经概述的原因,它是邪恶的,这是错误的,因为它根本没有涉及到无数的案例。

学习资料

以下是您需要阅读的内容:

  • Unicode Normalization Forms - UAX #15本附件描述了Unicode文本的规范化形式。当实现将字符串保持为规范化形式时,可以确保等效字符串具有唯一的二进制表示。本附件还提供了有关Unicode文本规范化的示例,其他规范,以及有关Unicode规范化表单的一致性测试的信息。
  • Canonical Equivalence in Applications - UTN #5本文档描述了在规范等效下有效处理文本的方法和格式,如UAX#15 Unicode规范化表格[UAX15]中所定义。
  • Unicode Collation Algorithm - UTS #10此报告是Unicode归类算法(UCA)的规范,详细说明了如何比较两个Unicode字符串,同时保持符合Unicode标准的要求。 UCA还提供默认Unicode排序规则元素表(DUCET)作为指定所有Unicode字符的默认排序顺序的数据。

必须 学习如何以有意义的方式比较字符串,并且删除它们根本就没有任何意义 [pəʇələp] 如初。

您绝不能仅仅按代码点比较非标准化字符串代码,如果可能,您需要考虑语言,因为它们之间的规则不同。

实例

无论您使用何种编程语言,它都可以帮助您阅读Perl的Unicode::NormalizeUnicode::CollateUnicode::Collate::Locale模块的文档。

例如,要在其中包含"MÜSS"的文字中搜索"muß",您可以这样做:

my $Collator = Unicode::Collate->new( normalization => undef, level => 1 );
                                     # (normalization => undef) is REQUIRED.
  my $str = "Ich muß studieren Perl.";
  my $sub = "MÜSS";
  my $match;
  if (my($pos,$len) = $Collator->index($str, $sub)) {
      $match = substr($str, $pos, $len);
  }

这会将"muß"加入$match

Unicode::Collate::Module支持定制这些区域设置:

 af                Afrikaans
 ar                Arabic
 az                Azerbaijani (Azeri)
 be                Belarusian
 bg                Bulgarian
 ca                Catalan
 cs                Czech
 cy                Welsh
 da                Danish
 de__phonebook     German (umlaut as 'ae', 'oe', 'ue')
 eo                Esperanto
 es                Spanish
 es__traditional   Spanish ('ch' and 'll' as a grapheme)
 et                Estonian
 fi                Finnish
 fil               Filipino
 fo                Faroese
 fr                French
 ha                Hausa
 haw               Hawaiian
 hr                Croatian
 hu                Hungarian
 hy                Armenian
 ig                Igbo
 is                Icelandic
 ja                Japanese [1]
 kk                Kazakh
 kl                Kalaallisut
 ko                Korean [2]
 lt                Lithuanian
 lv                Latvian
 mk                Macedonian
 mt                Maltese
 nb                Norwegian Bokmal
 nn                Norwegian Nynorsk
 nso               Northern Sotho
 om                Oromo
 pl                Polish
 ro                Romanian
 ru                Russian
 se                Northern Sami
 sk                Slovak
 sl                Slovenian
 sq                Albanian
 sr                Serbian
 sv                Swedish
 sw                Swahili
 tn                Tswana
 to                Tonga
 tr                Turkish
 uk                Ukrainian
 vi                Vietnamese
 wo                Wolof
 yo                Yoruba
 zh                Chinese
 zh__big5han       Chinese (ideographs: big5 order)
 zh__gb2312han     Chinese (ideographs: GB-2312 order)
 zh__pinyin        Chinese (ideographs: pinyin order)
 zh__stroke        Chinese (ideographs: stroke order)

您可以选择:您可以做到这一点,或者您根本无法做到这一点。 如果你做错了,没有人会感谢你。

正确行事意味着考虑UAX#15和UTS#10。

在这个时代,没有什么比这更容易接受了。你知道,现在不再是20世纪60年代了!

答案 1 :(得分:3)

不,没有这样的正则表达式。请注意,使用正则表达式,您“描述”特定的文本。

某个正则表达式实现可能会提供使用正则表达式进行替换的可能性,但这些替换通常只能通过一次替换来执行:不能将a替换为a'b替换为{ {1}}等等。

也许你正在使用的语言在其API中有一种方法来执行这种替换,但它不会使用正则表达式。

答案 2 :(得分:0)

此任务是iconv库的用途。了解如何在您正在开发的任何语言中使用它。

你的图书馆已经有了它的绑定机会