已编辑添加

Question

我可以使用unicode代码点搜索CJK字符（例如小）：

/\%u5c0f
/[\u5c0f]

我无法使用[\u4E00-\u9FFF]搜索所有CJK个字符，因为vim手册说：

：help /[] NOTE: The other backslash codes mentioned above do not work inside []!

这是一种完成这项工作的方式吗？

Answer 1

似乎Vim范围以某种方式限制在相同的高字节，因为/[\u4E00-\u4eFF]工作正常。如果你不介意这个烂摊子，试试：

/[\u4e00-\u4eff\u4f00-\u4fff\u5000-\u50ff\u5100-\u51ff\u5200-\u52ff\u5300-\u53ff\u5400-\u54ff\u5500-\u55ff\u5600-\u56ff\u5700-\u57ff\u5800-\u58ff\u5900-\u59ff\u5a00-\u5aff\u5b00-\u5bff\u5c00-\u5cff\u5d00-\u5dff\u5e00-\u5eff\u5f00-\u5fff\u6000-\u60ff\u6100-\u61ff\u6200-\u62ff\u6300-\u63ff\u6400-\u64ff\u6500-\u65ff\u6600-\u66ff\u6700-\u67ff\u6800-\u68ff\u6900-\u69ff\u6a00-\u6aff\u6b00-\u6bff\u6c00-\u6cff\u6d00-\u6dff\u6e00-\u6eff\u6f00-\u6fff\u7000-\u70ff\u7100-\u71ff\u7200-\u72ff\u7300-\u73ff\u7400-\u74ff\u7500-\u75ff\u7600-\u76ff\u7700-\u77ff\u7800-\u78ff\u7900-\u79ff\u7a00-\u7aff\u7b00-\u7bff\u7c00-\u7cff\u7d00-\u7dff\u7e00-\u7eff\u7f00-\u7fff\u8000-\u80ff\u8100-\u81ff\u8200-\u82ff\u8300-\u83ff\u8400-\u84ff\u8500-\u85ff\u8600-\u86ff\u8700-\u87ff\u8800-\u88ff\u8900-\u89ff\u8a00-\u8aff\u8b00-\u8bff\u8c00-\u8cff\u8d00-\u8dff\u8e00-\u8eff\u8f00-\u8fff\u9000-\u90ff\u9100-\u91ff\u9200-\u92ff\u9300-\u93ff\u9400-\u94ff\u9500-\u95ff\u9600-\u96ff\u9700-\u97ff\u9800-\u98ff\u9900-\u99ff\u9a00-\u9aff\u9b00-\u9bff\u9c00-\u9cff\u9d00-\u9dff\u9e00-\u9eff\u9f00-\u9fff]

Answer 2

我玩了很多，在vim中，以下似乎找到汉字/拼音/英文文本中的所有汉字字符：

[^!-~0-9 aāáǎăàeēéěèiīíǐĭìoōóǒŏòuūúǔùǖǘǚǜ]

Answer 3

Vim实际上无法自行完成此操作，因为您无权访问\p{Han}等Unicode属性。

从Unicode v6.0开始，Han脚本中字符的代码点范围为：

2E80-2E99 2E9B-2EF3 2F00-2FD5 3005-3005 3007-3007 3021-3029 3038-303B 3400-4DB5 4E00-9FCB F900-FA2D FA30-FA6D FA70-FAD9 20000-2A6D6 2A700-2B734 2B740-2B81D 2F800-2FA1D

对于Unicode v6.1，Han代码点的范围已更改为：

2E80-2E99 2E9B-2EF3 2F00-2FD5 3005-3005 3007-3007 3021-3029 3038-303B 3400-4DB5 4E00-9FCC F900-FA6D FA70-FAD9 20000-2A6D6 2A700-2B734 2B740-2B81D 2F800-2FA1D

我似乎也记得Vim难以表达星号码，这是正常工作所必需的。例如，使用Java 7或Perl中的灵活\x{HHHHHH}表示法，您将拥有：

[\x{2E80}-\x{2E99}\x{2E9B}-\x{2EF3}\x{2F00}-\x{2FD5}\x{3005}-\x{3005}\x{3007}-\x{3007}\x{3021}-\x{3029}\x{3038}-\x{303B}\x{3400}-\x{4DB5}\x{4E00}-\x{9FCC}\x{F900}-\x{FA6D}\x{FA70}-\x{FAD9}\x{20000}-\x{2A6D6}\x{2A700}-\x{2B734}\x{2B740}-\x{2B81D}\x{2F800}-\x{2FA1D}]

请注意，范围的最后一部分是\x{2F800}-\x{2FA1D}，超出了BMP。但你真正需要的是\p{Han}（意思是，\p{Script=Han}）。这再次表明，至少不支持Level 1 of UTS#18: Basic Unicode Support的正则表达式方法不适合使用Unicode。 Vim的正则表达式不适合基本的Unicode工作。

已编辑添加

这是转储适用于任何给定Unicode脚本的代码点范围的程序。

#!/usr/bin/env perl
#
# uniscrange - given a Unicode script name, print out the ranges of code 
#              points that apply.
# Tom Christiansen <tchrist@perl.com>

use strict;
use warnings;

use Unicode::UCD qw(charscript);

for my $arg (@ARGV) {
    print "$arg: " if @ARGV > 1;
    dump_range($arg);
}

sub dump_range {
    my($scriptname) = @_;

    my $alist = charscript($scriptname);
    unless ($alist) {
        warn "Unknown script '$scriptname'\n";
        return;
    }

    for my $aref (@$alist) {
        my($start, $stop, $name) = @$aref;
        die "got $name, not $scriptname\n" unless $name eq $scriptname;
        printf "%04X-%04X ", $start, $stop;
    }
    print "\n";

}

它的答案取决于Perl的哪个版本 - 以及你正在运行它的哪个版本的Unicode。

$ perl5.8.8 ~/uniscrange Latin Greek
Latin: 0041-005A 0061-007A 00AA-00AA 00BA-00BA 00C0-00D6 00D8-00F6 00F8-01BA 01BB-01BB 01BC-01BF 01C0-01C3 01C4-0241 0250-02AF 02B0-02B8 02E0-02E4 1D00-1D25 1D2C-1D5C 1D62-1D65 1D6B-1D77 1D79-1D9A 1D9B-1DBF 1E00-1E9B 1EA0-1EF9 2071-2071 207F-207F 2090-2094 212A-212B FB00-FB06 FF21-FF3A FF41-FF5A 
Greek: 0374-0375 037A-037A 0384-0385 0386-0386 0388-038A 038C-038C 038E-03A1 03A3-03CE 03D0-03E1 03F0-03F5 03F6-03F6 03F7-03FF 1D26-1D2A 1D5D-1D61 1D66-1D6A 1F00-1F15 1F18-1F1D 1F20-1F45 1F48-1F4D 1F50-1F57 1F59-1F59 1F5B-1F5B 1F5D-1F5D 1F5F-1F7D 1F80-1FB4 1FB6-1FBC 1FBD-1FBD 1FBE-1FBE 1FBF-1FC1 1FC2-1FC4 1FC6-1FCC 1FCD-1FCF 1FD0-1FD3 1FD6-1FDB 1FDD-1FDF 1FE0-1FEC 1FED-1FEF 1FF2-1FF4 1FF6-1FFC 1FFD-1FFE 2126-2126 10140-10174 10175-10178 10179-10189 1018A-1018A 1D200-1D241 1D242-1D244 1D245-1D245

$ perl5.10.0 ~/uniscrange Latin Greek
Latin: 0041-005A 0061-007A 00AA-00AA 00BA-00BA 00C0-00D6 00D8-00F6 00F8-01BA 01BB-01BB 01BC-01BF 01C0-01C3 01C4-0293 0294-0294 0295-02AF 02B0-02B8 02E0-02E4 1D00-1D25 1D2C-1D5C 1D62-1D65 1D6B-1D77 1D79-1D9A 1D9B-1DBE 1E00-1E9B 1EA0-1EF9 2071-2071 207F-207F 2090-2094 212A-212B 2132-2132 214E-214E 2184-2184 2C60-2C6C 2C74-2C77 FB00-FB06 FF21-FF3A FF41-FF5A 
Greek: 0374-0375 037A-037A 037B-037D 0384-0385 0386-0386 0388-038A 038C-038C 038E-03A1 03A3-03CE 03D0-03E1 03F0-03F5 03F6-03F6 03F7-03FF 1D26-1D2A 1D5D-1D61 1D66-1D6A 1DBF-1DBF 1F00-1F15 1F18-1F1D 1F20-1F45 1F48-1F4D 1F50-1F57 1F59-1F59 1F5B-1F5B 1F5D-1F5D 1F5F-1F7D 1F80-1FB4 1FB6-1FBC 1FBD-1FBD 1FBE-1FBE 1FBF-1FC1 1FC2-1FC4 1FC6-1FCC 1FCD-1FCF 1FD0-1FD3 1FD6-1FDB 1FDD-1FDF 1FE0-1FEC 1FED-1FEF 1FF2-1FF4 1FF6-1FFC 1FFD-1FFE 2126-2126 10140-10174 10175-10178 10179-10189 1018A-1018A 1D200-1D241 1D242-1D244 1D245-1D245

您可以使用corelist -a Unicode命令查看哪个版本的Unicode与哪个版本的Perl一起使用。这是选择的输出：

$ corelist -a Unicode
  v5.8.8     4.1.0     
  v5.10.0    5.0.0     
  v5.12.2    5.2.0     
  v5.14.0    6.0.0     
  v5.16.0    6.1.0

Answer 4

我不理解“相同的高字节问题”，但是当你实际输入字符来构建范围时，它似乎不适用（至少不适用于我，VIM 7.4）。

我经常从U + 3400（㐀）到U + 9FCC（鿌）搜索日文文本中的汉字。

U + 3400（㐀）是“CJK统一表意文字扩展A”的开头
U + 4DC0 - U + 4DFF“Yijing Hexagram Symbols”介于两者之间，但为了简单起见，并未排除。
U + 9FCC（鿌）是“CJK统一表意文字”的结尾

请注意，日文写作使用“々”作为汉字重复符号，而不是此块的一部分。您可以在“日语符号和标点符号”块中找到它。

/[㐀-鿌]

一组（几乎？）完整的带扩展名的中文字符

/[㐀-鿌豈-龎-]

此范围包括：

CJK统一表意文字扩展A
Yijing Hexagram符号（不应该是它的一部分）
CJK统一表意文字（主要部分）
CJK兼容性表意文字
CJK统一表意文字扩展B，
CJK Unified Ideographs Extension C，
CJK统一表意文字扩展D，
CJK兼容性表意文字补充

从事日语内容工作的人员的奖励：

平假名从U + 3041变为U + 3096

/[ぁ-ゟ]

片假名

/[゠-ヿ]

汉字激进派

/[⺀-⿕]

日语符号和标点符号。

请注意，此范围还包括々（重复最后一个汉字）和〆（shime「しめ」的缩写）。您可能希望将它们添加到您的范围内以查找单词。

[　-〿]

杂项日语符号和字符

/[ㇰ-ㇿ㈠-㉃㊀-㍿]

字母数字和标点符号（全宽）

[！-～]

来源：

http://www.fileformat.info/info/unicode/char/9fcc/index.htm http://www.localizingjapan.com/blog/2012/01/20/regular-expressions-for-japanese-text/comment-page-1/#comment-46891

Answer 5

在一些简单的情况下，我用它来搜索中文字符。它还匹配日语，俄语字符等。

[^\x00-\xff]

如何在vim中搜索所有CJK字符？

5 个答案:

已编辑添加