Question

朋友

我正在尝试使用Pyhton中的BeautifulSoup从以下link中抓取类别和子类别。

但是我无法刮擦它，所以一直给我空白列表

我尝试了以下方法：

首先，我尝试从以下方法中抓取一个类别，但它给出了空白输出

soup.find('h3',{"class":"m-t-40"})

我尝试抓取所有类别，但仍然给我空白输出

soup.find_All('h3',{"class":"m-t-40"})

谁能告诉我如何从此链接中抓取信息？

预先感谢

Answer 1

您可以使用selenium

from bs4 import BeautifulSoup
from selenium import webdriver

driver = webdriver.Chrome('/usr/local/bin/chromedriver')
driver.get('https://www.upwork.com/i/freelancer-categories-all/')

soup = BeautifulSoup(driver.page_source, 'html.parser')

for section in soup.find_all('section'):
    h3 = section.find('h3', {'class': 'm-t-40'})
    if h3:
        print(h3.text)
        lis = section.find_all('li')
        for li in lis:
            print(li.text.strip())

输出

Web, Mobile & Software Dev

All Web, Mobile & Software Dev
Ecommerce Development

# And many others

如何从Upwork网站上抓取工作类别及其子类别？

1 个答案: