如何使用python从javascript网站抓取数据

Question

我无法从网站上删除数据，但我有一个URL链接https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be 当我打开此链接时，当我滚动页面时会显示很多工作列表，自动加载时会显示更多工作列表，当我检查页面时，仅显示JavaScript，并且我需要提取以下数据工作位置，工作描述，工作URL ，全职或兼职，json格式的最低学历，我不知道该怎么做，这会打击我的代码

from bs4 import BeautifulSoup
import pandas as pd
from selenium import webdriver
from datetime import datetime
startTime = datetime.now()
import time
print('startTime',startTime)
driver = webdriver.Chrome('C:\\Users\\arif khan\\Downloads\\chromedriver.exe')
driver.get('https://autodesk.wd1.myworkdayjobs.com/Ext/0/refreshFacet/318c8bb6f553100021d223d9780d30be')

Answer 1

您必须从div中提取它：

jobs = driver.find_elements_by_xpath("//div[@class='WNOO WBOO']/ul/li")
for job in jobs:
    print(job)

在网站上，右键单击并使用“检查元素”以查看任何特定元素的代码。例如，如果右键单击文本“ Finance Manager”，然后单击“检查元素”，它将显示其代码。