我需要帮助来从网页上抓取以下信息

时间:2019-09-18 11:52:04

标签: python-3.x beautifulsoup python-requests

我需要从网页上按字母顺序按字母a-w列出联邦机构的详细信息。我需要获取代理商名称,网站和联系方式

我仅有的代码从一页返回代理商名称。

import requests
>>> import bs4
>>> res = requests.get("https://www.usa.gov/federal-agencies/")
>>> soup=bs4.BeautifulSoup(res.text,'lxml')
>>> soup.select('.url')
for i in soup.select('.url'):
    print(i.text)

我希望得到;从a到w

的所有页面的代理商名称,网站和联系地址

1 个答案:

答案 0 :(得分:1)

您将不得不遍历每个页面,并按照每个项目的链接来提取所需的数据:

代码:

"30000000000000000"

输出:

DispatchQueue.main.async(execute: {
    let storyboard = UIStoryboard(name: "Main", bundle: nil)   
    let vc = storyboard.instantiateViewController(withIdentifier: "AbcViewController") as! AbcViewController

    self.navigationController?.pushViewController(vc, animated: true)
})