Question

我正在努力从网站上抓取网址。我要抓的网站的HTML代码是：

<tr>
        <td>
            <span>

    <table class="search-result-ad-row" cellspacing="3" border="0">
    <tbody>
        <tr>
            <td class="picture" rowspan="2"><a title="3.izbový byt v starom meste na ulici Kpt. Nálepku" href="inzerat/RE0005055-16-000281/3-izbovy-byt-v-starom-meste-na-ulici-kpt-nalepku"><img src="/data/189/RE0005055/ads/195/RE0005055-16-000281/img/thum/37587134.jpeg" alt=""/></a>
            </td>
            <td class="title" colspan="2"><a title="3.izbový byt v starom meste na ulici Kpt. Nálepku" href="inzerat/RE0005055-16-000281/3-izbovy-byt-v-starom-meste-na-ulici-kpt-nalepku"><h2 style="font-size: inherit;">3.izbový byt v starom meste na ulici Kpt. Nálepku</h2></a>
                <span></span>
            </td>
        </tr>
        <tr>

我希望通过使用此python代码获取href：

br = mechanize.Browser()
br.open("http://www.reality.sk/")
br.select_form(nr=0)
br["tabs:scrn243:scrn115:errorTooltip.cityName:cityName"]="poprad"
br.submit()

def hello():
    soup = BeautifulSoup(br.response().read())
    for link in soup.findAll('a'):
        link2 = link.get('href')
        if "inzerat/" in link2:
            print 'http://www.reality.sk/' + link.get('href')

但问题是我为每个网址获得了2个结果（因为有2个href属性）。我试图使用table标记，td标记带有class属性（“图片”或“标题”），甚至使用rowspan（= 2））。但我没有得到理想的结果。我不知道如何使代码工作。

Answer 1

我猜您在使用class选择器查找时遇到了问题。您也可以链接由find返回的标签 - 请查看此解决方案是否有帮助（我不能100％确定这是否是您想要实现的目标）：

soup.find_all('table', class_='search-result-ad-row')
for ad_table in soup.find_all('table', class_='search-result-ad-row'):
    print ad_table.find(class_='picture').find('a').attrs['href']

从Python中获取HTML中的每一个第二个URL

1 个答案: