下面的代码可以正常工作,但是会花费太多时间。有什么办法可以更快地做到这一点?我尝试了BeautifulSoup,但无法获取嵌套表项数据。任何人都可以帮助以更快的方式完成此任务吗?
options = webdriver.ChromeOptions()
#options.add_argument("headless")
browser = webdriver.Chrome(chrome_options=options)
browser.get(my_url)
table = browser.find_element_by_id("testModuleViewerGrid")
tbody = table.find_element_by_tag_name("tbody")
rows = tbody.find_elements(By.TAG_NAME, "tr") # get all of the rows in the table
for row in rows:
module_name = row.find_elements(By.TAG_NAME, "td")[0]
module_status = row.find_elements(By.TAG_NAME, "td")[2]
module_status_value = row.find_elements(By.TAG_NAME, "span")[0]
test_name.append((module_name.text))
test_status.append((module_status_value.text))
此代码没有错误,但是抓取数据花费了太多时间