在BeautifulSoup

时间:2016-10-30 20:24:14

标签: python html css web-scraping beautifulsoup

我正在尝试从多个span标记中提取字符串内容。 HTML页面的快照是:

<div class="secondary-attributes">
    <span class="neighborhood-str-list">
        Southeast
    </span>
    <address>
        1234 Python Blvd S<br>Somewhere, NV 98765
    </address>
    <span class="biz-phone">
        (555) 123-4567
    </span>
</div>

具体来说,我正在尝试提取位于<span class="biz-phone></span>标签之间的电话号码。我尝试使用以下代码执行此操作:

import requests
from bs4 import BeautifulSoup

res = requests.get(url)
soup = BeautifulSoup(res.text, "html.parser")

phone_number_results = [phone_numbers for phone_numbers in soup.find_all('span','biz-phone')]

编译的代码没有任何语法错误,但它并没有完全给我我希望的结果:

['<span class="biz-phone">\n        (702) 476-5050\n    </span>', '<span class="biz-phone">\n        (702) 253-7296\n    </span>', '<
span class="biz-phone">\n        (702) 385-7912\n    </span>', '<span class="biz-phone">\n        (702) 776-7061\n    </span>', '<spa
n class="biz-phone">\n        (702) 221-7296\n    </span>', '<span class="biz-phone">\n        (702) 252-7296\n    </span>', '<span c
lass="biz-phone">\n        (702) 659-9101\n    </span>', '<span class="biz-phone">\n        (702) 355-9445\n    </span>', '<span clas
s="biz-phone">\n        (702) 396-3333\n    </span>', '<span class="biz-phone">\n        (702) 643-9851\n    </span>', '<span class="

biz-phone">\n        (702) 222-1441\n    </span>']

我的问题分为两部分:

  1. 为什么运行程序时出现span标签?
  2. 我如何摆脱它们?我可以做字符串编辑,但我觉得我不会充分利用BeautifulSoup包。有更优雅的方式吗?
  3. 注意:在整个页面中有更多HTML代码片段,如上图所示;有更多<span class="biz-phone"> (555) 123-4567 </span>代码的实例(即更多的电话号码)需要提取,因此我考虑使用find_all()

    提前谢谢。

1 个答案:

答案 0 :(得分:2)

  1. find_all()会返回一个标记列表(bs4.element.Tag),而非字符串。

  2. 正如@furas指出的那样,您希望访问每个标记上的text属性以提取标记中的文本:

    phone_number_results = [phone_numbers.text.strip() for phone_numbers in soup.find_all('span', 'biz-phone')]

  3. (您可能还想在此基础上调用strip()