Question

我正在从网站的html制作电子表格。我无法弄清楚如何提取未标记数据的信息。例如，我可以编写一个程序来搜索<span class="city-names">内的文本，以查找大学所在的城市，但是大学的名称， St。彼得堡州立大学，没有这样的标签。有没有办法让我使用Python和BeautifulSoup将其识别为大学（比如确定它是未标记文本的第二个实例）？

谢谢！

<div class="result" style="width:100%;">
  <span class="uppercase bold country-name" style="width:100%;">
        Russia
        <span class="city-names">
         St. Petersburg
        </span>
  </span>
  <br/>
  <span class="bold">
        <a href="http://eap.ucop.edu/OurPrograms/russia/Pages/russian_area_studies_st_petersburg.aspx" target="_blank">
         Russian Area Studies, St. Petersburg - Fall
        </a>
       </span>
  <br/>Council on International Educational Exchange, St. Petersburg
  <br/>St. Petersburg State University
</div>

Answer 1

这有点粗糙，这是你打算做的吗？

如果这适用于整个页面，请尝试。

from bs4 import BeautifulSoup

html = """
<div class="result" style="width:100%;">
  <span class="uppercase bold country-name" style="width:100%;">
        Russia
        <span class="city-names">
         St. Petersburg
        </span>
  </span>
  <br/>
  <span class="bold">
    <a href="http://eap.ucop.edu/OurPrograms/russia/Pages/russian_area_studies_st_petersburg.aspx" target="_blank">
        Russian Area Studies, St. Petersburg - Fall
    </a>
  </span>
  <br/>Council on International Educational Exchange, St. Petersburg
  <br/>St. Petersburg State University
</div>
"""

soup = BeautifulSoup(html, "html.parser")
cities = soup.find_all('div', attrs={'class': 'result'})
for city in cities:
    spans = city.find_all('span')
    for span in spans:
        span.decompose()
    text_you_need = BeautifulSoup(str(city),"html.parser").find('div').text
    university = text_you_need.strip().split('\n')[1].strip()
    print(university)

我删除了span标签＆＃39;来自div的内容并得到第二行文本并做了一个strip（）。

输出：

St. Petersburg State University

Answer 2

如果您知道它始终位于特定位置，您可以使用find_all函数。对于您提供的示例，

 span = soup.div.find_all('span')[2]

会将span标记指向大学名称。

解析未标记的HTML文本

2 个答案: