Question

我对bs4相当新，但我试图从网站上抓取一小部分信息：但是它一直在打印＆＃34;无＆＃34;好像标题，或任何标签，如果我替换它，不存在。

该项目由两部分组成：

循环部分:(看起来非常简单）。
解析器部分：我有一些问题 - 见下文。

我试图遍历一系列网址，并从wordpress-plugins列表中删除下面的数据。请参阅下面的循环 -

from bs4 import BeautifulSoup
import requests
#array of URLs to loop through, will be larger once I get the loop working correctly
plugins = ['https://wordpress.org/plugins/wp-job-manager', 'https://wordpress.org/plugins/ninja-forms']

项目：wordpress-plugins的状态数据列表： - 大约50个插件是有意义的！

https://wordpress.org/plugins/wp-job-manager
https://wordpress.org/plugins/ninja-forms
https://wordpress.org/plugins/participants-database ....and so on and so forth.

解析器部分： 所以这是我的方法，美丽的汤 - 提取标签中的字符串？

import bs4
from urllib.request import urlopen as uReq
from bs4 import BeautifulSoup as soup

my_url = "https://wordpress.org/plugins/participants-database/"
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")

ttt = page_soup.find("div", {"class":#post-15991 > div.entry-meta > div.widget.plugin-meta"})
item = ttt.a.text
print(item)

背景：想要从此页面获取以下数据：

https://wordpress.org/plugins/participants-database/

我需要以下三行的数据 - 在上面提到的例子中

Version: <strong>1.29.3</strong>
Active installations: <strong>100,000+</strong>
Tested up to: <strong>4.9.4</strong>

查看我在此处找到的xpath：

//*[@id="post-15991"]/div[4]/div[1]

//*[@id="post-15991"]/div[4]/div[1]/ul/li[1]
//*[@id="post-15991"]/div[4]/div[1]/ul/li[2]
//*[@id="post-15991"]/div[4]/div[1]/ul/li[3]
//*[@id="post-15991"]/div[4]/div[1]/ul/li[4]
//*[@id="post-15991"]/div[4]/div[1]/ul/li[5]
//*[@id="post-15991"]/div[4]/div[1]/ul/li[6]

Answer 1

您可以简单地获取所需的值：

ttt = page_soup.find("div", {"class":"plugin-meta"})
text_nodes = [node.text.strip() for node in ttt.ul.findChildren('li')[:-1:2]]

text_nodes的输出：

['Version: 1.7.7.7', 'Active installations: 10,000+', 'Tested up to: 4.9.4']

使用漂亮的汤 - 在<div>标签中提取字符串？

1 个答案: