Question

我正试图从一个网站解析锚文本（例如：Mercedes-Benz，308，savivarčiai）。

使用：Python 3.4

<h2 class="title-list"><a href="http://auto.plius.lt/skelbimai/mercedes-benz-308-savivarciai-3876306.html" title="Mercedes-Benz, 308, savivarčiai" onclick="OpenNamedPopup('http://auto.plius.lt/skelbimai/mercedes-benz-308-savivarciai-3876306.html', 'A3876306'); return false;">Mercedes-Benz, 308, savivarčiai</a>&nbsp;</h2>

我的代码如下所示：

import requests
from bs4 import BeautifulSoup

def autoplius():

    url = "http://auto.plius.lt/skelbimai/krovininis-transportas/sunkvezimiai?make_date_from=1989&make_date_to=1997&make_id=4169"
    r = requests.get(url)
    plain_text = r.text
    soup = BeautifulSoup(plain_text)

    for link in soup.findAll('h2',{'class':'title-list'}):
        ahref = link.find('a')

        print(ahref.get('ahref'))


autoplius()

但是我得到的回报是 none none none none ..

我的第二个问题是关于每当我尝试打印出一些编码问题时的编码

像这样：

UnicodeEncodeError: 'charmap' codec can't encode character '\x8d' in position 248: character maps to <undefined>

如何解决此问题？

NEW

r.encoding的输出：

ISO-8859-1

问题已解决

我安装了PyCharm，它可以在PyCharm控制台上运行。问题是我的Windows终端没有显示Latin1字符。

Answer 1

让requests.content处理编码并从a标记中获取文字：

def autoplius():    
    url = "http://auto.plius.lt/skelbimai/krovininis-transportas/sunkvezimiai?make_date_from=1989&make_date_to=1997&make_id=4169"
    r = requests.get(url)
    plain_text = r.content
    print(plain_text)
    soup = BeautifulSoup(plain_text)

    for link in soup.findAll('h2',{'class':'title-list'}):
        print(link.a.text)


Mercedes-Benz, 308, savivarčiai
Mercedes-Benz, 609, kietašoniai
Mercedes-Benz, 308, bortiniai
Mercedes-Benz, 609, Šaldytuvai
Mercedes-Benz, 609, Šaldytuvai
Mercedes-Benz, 1114, važiuoklės
Mercedes-Benz, 3344AK, savivarčiai
Mercedes-Benz, 814, važiuoklės
Mercedes-Benz, 308, Šaldytuvai
Mercedes-Benz, 609, dviguba kabina
Mercedes-Benz, 609, Šaldytuvai
Mercedes-Benz, HMF 1150, savivarčiai su kranu
Mercedes-Benz, sprinter 312, kietašoniai
Mercedes-Benz, 814, Šaldytuvai
Mercedes-Benz, Sprinter 208, bortiniai
Mercedes-Benz, SPRINTER 308D, bortiniai
Mercedes-Benz, Sprinter 212 TDi, bortiniai
Mercedes-Benz, 711 MAXI, kietašoniai
Mercedes-Benz, 814, bortiniai
Mercedes-Benz, 208, bortiniai
Citroen Grand C4 Picasso

Python：使用BeautifulSoup解析锚文本

1 个答案: