关于路径名编码的问题

时间:2011-09-25 15:05:39

标签: perl unicode encoding utf-8 pathname

我在这个路径名中做了这么奇怪的编码我做了什么? 在我的文件管理器(Dolphin)中,路径名称看起来很好。

#!/usr/local/bin/perl
use warnings;
use 5.014;
use utf8;
use open qw( :encoding(UTF-8) :std );
use File::Find;
use Devel::Peek;
use Encode qw(decode);

my $string;
find( sub { $string = $File::Find::name }, 'Delibes, Léo' );
$string =~ s|Delibes,\ ||;
$string =~ s|\..*\z||;
my ( $s1, $s2 ) = split m|/|, $string, 2;

say Dump $s1;
say Dump $s2;

# SV = PV(0x824b50) at 0x9346d8
#   REFCNT = 1
#   FLAGS = (PADMY,POK,pPOK,UTF8)
#   PV = 0x93da30 "L\303\251o"\0 [UTF8 "L\x{e9}o"]
#   CUR = 4
#   LEN = 16

# SV = PV(0x7a7150) at 0x934c30
#   REFCNT = 1
#   FLAGS = (PADMY,POK,pPOK,UTF8)
#   PV = 0x7781e0 "Lakm\303\203\302\251"\0 [UTF8 "Lakm\x{c3}\x{a9}"]
#   CUR = 8
#   LEN = 16

say $s1;
say $s2;

# Léo
# Lakmé

$s1 = decode( 'utf-8', $s1 );
$s2 = decode( 'utf-8', $s2 );

say $s1;
say $s2;

# L�o
# Lakmé

2 个答案:

答案 0 :(得分:13)

不幸的是,您的操作系统的路径名API是另一个“二进制接口”,您必须使用Encode::encodeEncode::decode来获得可预测的结果。

大多数操作系统将路径名视为八位字节序列(即字节)。该序列是否应解释为latin-1,UTF-8或其他字符编码是应用程序决策。因此,readdir()返回的值只是一个八位字节序列,File::Find不知道您希望路径名称为Unicode代码点。它通过简单地连接目录路径(您提供的)和操作系统通过$File::Find::name返回的值来形成readdir(),这就是您使用八位字节获取代码点的方式。

经验法则:每当将路径名传递给操作系统时,Encode::encode()确保它是一系列八位字节。从操作系统获取路径名时,Encode::decode()将其添加到应用程序所需的字符集中。

您可以通过以下方式调用find来使您的计划正常工作:

find( sub { ... }, Encode::encode('utf8', 'Delibes, Léo') );

然后在使用Encode::decode()的值时调用$File::Find::name

my $path = Encode::decode('utf8', $File::Find::name);

为了更清楚,这就是$File::Find::name形成的原因:

use Encode;

# This is a way to get $dir to be represented as a UTF-8 string

my $dir = 'L' .chr(233).'o'.chr(256);
chop $dir;

say "dir: ", d($dir); # length = 3

# This is what readdir() is returning:

my $leaf = encode('utf8', 'Lakem' . chr(233));

say "leaf: ", d($leaf); # length = 7

$File::Find::name = $dir . '/' . $leaf;

say "File::Find::name: ", d($File::Find::name);

sub d {
  join(' ', map { sprintf("%02X", ord($_)) } split('', $_[0]))
}

答案 1 :(得分:-2)

POSIX文件系统API因为没有强制执行编码而被破坏。周期。

可能会发生许多问题。例如,路径名甚至可以包含latin1和UTF-8,具体取决于路径上的各种文件系统如何处理编码(如果它们的话)。