如何在Ruby中删除4个字节的utf-8字符?

时间:2013-05-10 17:23:19

标签: ruby utf-8 character-encoding utf8mb4

由于MySQL的utf8不支持4字节字符,我正在寻找一种方法来检测并消除Ruby中字符串中的任何4字节utf8字符。我知道我可以更新我的表以使用utf8m4,但有几个原因是不可能或所需的解决方案。

简单地将字符串编码为ASCII将删除这些字符,但也会删除所有其他非ASCII字符,这是不好的。

2 个答案:

答案 0 :(得分:32)

以下内容似乎适用于Ruby 1.9.3:

input.each_char.select{|c| c.bytes.count < 4 }.join('')

例如:

input = "hello \xF0\xA9\xB6\x98 world"                  # includes U+29D98
input.each_char.select{|c| c.bytes.count < 4 }.join('') # 'hello  world'

答案 1 :(得分:1)

另一种选择(在 ruby​​ 2.7 中测试)是使用带有 gsub 的正则表达式:

input = "hello \xF0\xA9\xB6\x98 world"    # includes U+29D98
input.gsub(/[\u{10000}-\u{10FFFF}]/, "?") # 'hello ? world'