tr [：upper：] [：lower：]带有西里尔文本

Question

我正在尝试从俄罗斯短篇小说中提取单词列表。

#!/bin/sh

export LC_ALL=ru_RU.utf8

sed -re 's/\s+/\n/g' | \
sed 's/[\.!,—()«»;:?]//g' | \
tr '[:upper:]' '[:lower:]' | \
sort | uniq

然而，tr步骤并未降低西里尔字母大写。我以为我在使用便携式角色课时很聪明！

$ LC_ALL=ru_RU.utf8 echo "Г" | tr [:upper:] [:lower:]
Г

如果相关，我通过从Chrome浏览器窗口复制粘贴到Vim获取俄语文本。它看起来正好在屏幕上（Putty终端）。这是在Cygwin的bash shell中 - 它应该与Linux上的Bash完全相同（应该！）。

什么是在管道中小写unicode文本的便携，可靠的方法？

Answer 1

这是我在Wikipedia找到的（虽然没有任何参考）：

  

tr的大多数版本（包括GNU tr和经典的Unix tr）都在单字节字符上运行，并且不符合Unicode。 Heirloom Toolchest实现是一个例外，它提供了基本的Unicode支持。

此外，this已陈旧但相关。

正如我在评论中提到的那样，sed似乎有效（GNU sed，至少）：

$ echo 'СТЭК' | sed 's/[[:upper:]]*/\L&/'
стэк

Answer 2

这对我有用：

echo ЫЕРУНКЫКТ | sed -e 's/\(.*\)/\L\1/'