如何在BeautifulSoup中生成Unicode

时间:2016-03-21 10:34:18

标签: python python-2.7 unicode beautifulsoup mechanize

我尝试让程序使用BeautifulSoup向(http://upodn.com/phon.php)提交任何单词,然后打印结果。 例如,当我向(http://upodn.com/phon.php)网站提交“你好”字样时,结果为:həlo 但是当我使用我的脚本提交“你好”字时,结果是:həlo

我如何打印出现在网站上的结果=> həlo

脚本:

#  -*- coding: utf-8 -*-

import mechanize
import cookielib
from BeautifulSoup import BeautifulSoup
import html2text

br = mechanize.Browser()
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)
br.set_handle_equiv(True)
br.set_handle_redirect(True)
br.set_handle_referer(True)
br.set_handle_robots(False)
br.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1'), ('Content-type', 'text/html; charset=utf-8')]
br.open('http://upodn.com/phon.php')
br.select_form(nr=0)
br.form['intext'] = 'hello'
br.submit()
data = br.response().read()
soup = BeautifulSoup(data)
# print soup
table = soup.find('table', {'rules': 'cols'})
result = []
for row in table.findAll("font"):
    d = row.text
    result.append(d)
print result[1]

输出:

həlo
[Finished in 2.7s]

1 个答案:

答案 0 :(得分:2)

您正在使用绝对过时的BeautifulSoup版本,BeautifulSoup 3.当前版本的BeautifulSoup 4在PyPI中称为beautifulsoup4,并且具有顶级包bs4。 BeautifulSoup 4解码这些html实体:

Python 2.7.10 (default, Oct 14 2015, 16:09:02) 
[GCC 5.2.1 20151010] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> from bs4 import BeautifulSoup
>>> print(BeautifulSoup('<b>h&#x0259;lo</b>').find('b').text)
həlo

编写使用BeautifulSoup3的新代码没有意义,所以你现在应该切换。