BS4如何在不使用.text的情况下获取文本?

时间:2015-10-27 03:41:05

标签: python html beautifulsoup html-parsing bs4

这是网站的源代码布局:

<div class="address">
    <a href="https://website.ca/classifieds/59-barclay-street/">
        59 Some Street<br />City, Zone 1
    </a>
</div>

我想获取Google地理编码的街道号码,路线和城市。如果我这样做

>>>article.find('div', {'class': 'address'}).text
'59 Some StreetCity, Zone 1'

它带走了<br />而我离开时无法将路线从城市中分离出来。如果我做str().replace('<br />',', ')那么我必须以某种方式将它再次转换回它之前的任何类型,这样我就可以.text来获取<a href>之间的实际文本,这是低效的。我想使用.text用来获取实际文本的功能,而没有删除<br>内容的功能。我在env中找不到名为BeautifulSoup.py的文件,所以我在GitHub上查看BeautifulSoup源代码,我在那里找不到def text,我不知道还有什么地方可以看。

更新

articles = page_soup.find('h2', text='Ads').find_next_siblings('article')
for article in articles:
    link = article.find('a')
    br = link.find('br')
    ad_address = br.previous_sibling.strip() + ', ' + br.next_sibling.strip().partition(', Zone ')[0]
    #ad_address = link.br.replace_with(', ').get_text().strip().partition(', Zone ')

3 个答案:

答案 0 :(得分:3)

您可以找到br分隔符标记并获取兄弟姐妹

In [4]: br = soup.select_one("div.address > a > br")

In [5]: br.previous_sibling.strip()
Out[5]: u'59 Some Street'

In [6]: br.next_sibling.strip()
Out[6]: u'City, Zone 1'

您还可以找到br元素,并使用replace_with()替换为空格:

In [4]: a = soup.select_one("div.address > a")
In [5]: a.br.replace_with(" ")

In [6]: a.get_text().strip()
Out[6]: u'59 Some Street City, Zone 1'

或者,您可以加入a标记内的所有文本节点:

In [7]: a = soup.select_one("div.address > a")
In [8]: " ".join(a.find_all(text=True)).strip()
Out[8]: u'59 Some Street City, Zone 1'

答案 1 :(得分:1)

尝试:

soup.find('div', {'class':'address'}).get_text(separator=u"<br/>").split(u'<br/>')

separator关键字定义了连接文本的内部HTML。

http://omz-software.com/pythonista/docs/ios/beautifulsoup_ref.html

答案 2 :(得分:0)

尝试:

for link_to_text in links:
   Print link_to_text.get_text()