如何使用BeautifulSoup搜索标签列表,列表中的一个项目具有属性?

时间:2018-01-31 03:53:41

标签: python html web-scraping beautifulsoup

有没有人知道如何在python中使用bs4来搜索多个标签,其中一个标签需要一个属性?

例如,要搜索所有带有属性的标记,我知道我可以这样做:

tr_list = soup_object.find_all('tr', id=True)

我知道我也可以这样做:

tag_list = soup_object.find_all(['a', 'b', 'p', 'li'])

但是我无法弄清楚如何将两个语句组合在一起,理论上这些语句会按照所有这些html标签的出现顺序给出一个列表,每个语句都有一个列表。标签有id。

html代码段如下所示:

  <tr id="uniqueID">
   <td nowrap="" valign="baseline" width="8%">
    <b>
     A_time_as_text
    </b>
   </td>
   <td class="storyTitle">
    <a href="a_link.com" target="_new">
     some_text
    </a>
    <b>
     a_headline_as_text
    </b>
    a_number_as_text
   </td>
  </tr>
  <tr>
   <td>
    <br/>
   </td>
   <td class="st-Art">
    <ul>
     <li>
      more_text_text_text
      <strong>
       more_text_text_text
       <font color="228822">
        more_text_text_text
       </font>
      </strong>
      more_text_text_text
     </li>
     <li>
      more_text_text_text
      <ul>
       <li>
        more_text_text_text
       </li>
      </ul>
     </li>
    </ul>
   </td>
  </tr>
  <tr>
  </tr>

提前感谢您的帮助!

1 个答案:

答案 0 :(得分:2)

我建议您将tr添加到所需的标记列表中,然后检查循环中是否存在id属性:

from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "html.parser")

for tag in soup.find_all(['a', 'b', 'p', 'li', 'tr']):
    if tag.name != 'tr' or (tag.name == 'tr' and tag.get('id')):
        print tag.name

对于你的html,这将显示:

tr
b
a
b
li
li
li

请注意,如果您实际上尝试使用a获取b内的p li trid个标记目前,以下方法更合适:

for tr in soup.find_all('tr', id=True):
    for tag in tr.find_all(['a', 'b', 'p', 'li']):
        print tag.name, tag.get_text(strip=True)

这会给你:

b A_time_as_text
a some_text
b a_headline_as_text