Python - 替换字符串中的非ascii字符(»)

时间:2016-11-29 17:30:46

标签: python regex string encoding decoding

我需要在字符串中用空格替换字符“»”,但我仍然会收到错误。这是我使用的代码:

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup

# other code

soup = BeautifulSoup(data, 'lxml')
mystring = soup.find('a').text.replace(' »','')
  

UnicodeEncodeError:'ascii'编解码器无法对字符u'\ xbb'进行编码   位置13:序数不在范围内(128)

但如果我用其他脚本测试它:

# -*- coding: utf-8 -*-
a = "hi »"
b = a.replace('»','') 

有效。为什么这样?

2 个答案:

答案 0 :(得分:12)

使用str.replace()方法替换字符串的内容;你需要首先解码字符串,然后替换文本并将其编码回原始文本:

>>> a = "hi »"
>>> a.decode('utf-8').replace("»".decode('utf-8'), "").encode('utf-8')
'hi '

您也可以使用以下正则表达式从字符串中删除所有非ascii字符:

>>> import re
>>> re.sub(r'[^\x00-\x7f]',r'', 'hi »')
'hi '

答案 1 :(得分:5)

@Moinuddin Quadri的答案更适合您的用例,但一般来说,从给定字符串中删除非ASCII字符的简单方法是执行以下操作:

# the characters '¡' and '¢' are non-ASCII
string = "hello, my name is ¢arl... ¡Hola!"

all_ascii = ''.join(char for char in string if ord(char) < 128)

这导致:

>>> print(all_ascii)
"hello, my name is arl... Hola!"

你也可以这样做:

''.join(filter(lambda c: ord(c) < 128, string))

但这比char for char ...方法慢了约30%。