Question

我使用以下代码来抓取包含日文字符的网页：

import urllib2
import bs4
import time

url = 'http://www.city.sapporo.jp/eisei/tiiki/toban.html'

pagecontent = urllib2.urlopen(url)
soup = bs4.BeautifulSoup(pagecontent.read().decode("utf8"))

print(soup.prettify())
print(soup)

在某些机器中，代码工作正常，最后两个语句成功打印结果。但是，在某些机器中，最后一个语句会给出错误

UnicodeEncodeError 'ascii' codec can't encode characters in position 485-496: ordinal not in range(128),

并且最后一个语句打印所有日文字符的奇怪方块。

为什么两台机器的相同代码的工作方式不同？我该如何解决这个问题？

Python版本2.6.6

bs4版本：4.1.0

Answer 1

您需要正确配置您的环境区域设置;一旦设置了语言环境，Python就会在打印到终端时自动选择它。

使用locale命令检查您的语言环境：

$ locale
LANG="en_GB.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_CTYPE="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_ALL="en_US.UTF-8"

请注意我的语言环境设置中的.UTF-8;它告诉终端中运行的程序我的终端使用UTF-8编解码器，支持所有Unicode。

您可以使用LANG环境变量一步设置所有语言环境：

export LANG="en_US.UTF-8"

使用UTF-8编解码器获取美国语言环境（如何打印日期和数字）

。准确地说，LC_CTYPE设置用于输出编解码器，而输出编解码器默认为LANG值。

另请参阅非常全面的 UTF-8 and Unicode FAQ for Unix/Linux。

Python：＆＃39; ascii＆＃39;编解码器不能编码字符

1 个答案: