Question

我不明白为什么会收到此错误：

我有一个相当简单的功能：

def scrape_a(url):
  r = requests.get(url)
  soup = BeautifulSoup(r.content)
  news =  soup.find_all("div", attrs={"class": "news"})
  for links in news:
    link = news.find_all("href")
    return link

这是我试图抓住的网页的结构：

<div class="news">
<a href="www.link.com">
<h2 class="heading">
heading
</h2>
<div class="teaserImg">
<img alt="" border="0" height="124" src="/image">
</div>
<p> text </p>
</a>
</div>

Answer 1

你做错了两件事：

您正在find_all结果集上调用news;大概是你打算在links对象上调用它，该结果集中有一个元素。
您的文档中没有<href ...>个代码，因此使用find_all('href')进行搜索并不能为您提供任何帮助。您只有标有href 属性的标记。

您可以将代码更正为：

def scrape_a(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content)
    news =  soup.find_all("div", attrs={"class": "news"})
    for links in news:
        link = links.find_all(href=True)
        return link

做我认为你想做的事。

我使用CSS selector：

def scrape_a(url):
    r = requests.get(url)
    soup = BeautifulSoup(r.content)
    news_links = soup.select("div.news [href]")
    if news_links:
        return news_links[0]

如果你想返回href属性的值（链接本身），你当然也需要提取它：

return news_links[0]['href']

如果您需要 all 链接对象而不是第一个，只需返回链接对象的news_links，或使用列表解析来提取URL：

return [link['href'] for link in news_links]

AttributeError：'ResultSet'对象没有属性'find_all'Greatsoup

1 个答案: