Question

我正在尝试抓取并保存网页中的链接。这些链接在博客的Blogroll部分中作为小部件进行组织。我已经弄清楚了如何创建一些Beautifulsoup对象的列表，但是无法从该对象子集中提取链接。

我花了很多时间尝试各种类型的find，find_all并重新添加这些对象。

req = Request(url , headers={'User-Agent': 'Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11'})
document = urlopen(req, context=ctx)
html = document.read()
soup = BeautifulSoup(html,"html.parser")



tags = soup.find_all(attrs={"class":"xoxo blogroll"})
print(type(tags))
#this is a <class 'bs4.element.ResultSet'>


count = 0
for tag in tags:
    print(type(tag))
    # this is a <class 'bs4.element.Tag'>
    print('this is tag: ', tag)#tester print

 ''' 
    this returns things like:
this is tag:  <ul class="xoxo blogroll">
<li><a href="http://blog.jaibot.com/">ANOIEAEIB</a></li>
<li><a href="http://commonsenseatheism.com/">Common Sense Atheism</a></li>
<li><a href="http://lesswrong.com">Less Wrong</a></li>
<li><a href="http://thelastpsychiatrist.com/">The Last Psychiatrist</a></li>
</ul>
<class 'bs4.element.Tag'>
this is tag:  <ul class="xoxo blogroll">
<li><a href="http://alicorn.elcenia.com/board/index.php">Alicornutopia</a></li>
<li><a href="http://unsongbook.com">Unsong</a></li>
<li><a href="https://parahumans.wordpress.com/">Worm</a></li>
</ul>

    '''

我想从每个“标签”中提取并打印所有网址，然后将其保存到我的sqlite3数据库中。

Answer 1

您可以尝试向其添加属性选择器，以便获得该类的父母的孩子href。

links = [item['href'] for item in soup.select('.blogroll [href]')]

可能您可以使用稍快的速度

links = [item['href'] for item in soup.select('.blogroll a')]

从Beautiful Soup嵌套对象中提取并存储链接

1 个答案: