项目:网络抓取您从 https://theuselessweb.com/ 获得的标题和网址
问题 1:http://www.republiquedesmangues.fr/ 的标题使用了程序(或其他)无法使用的字符,因此程序崩溃。
问题 2:有没有简单的方法可以摆脱倍数?当一个 URL/标题被保存两次或更多次时,我想删除除一个之外的所有内容。 (也许通过使用数据库。如果是这样,请建议一个。)
代码:
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from time import sleep
PATH = r"C:\Users\Leander\Documents\scraping\chromedriver.exe"
driver = webdriver.Chrome(PATH)
driver.get("https://theuselessweb.com/")
driver.switch_to.window(driver.window_handles[-1])
button = driver.find_element_by_id("button")
file = open("C:\\Users\\XXX\\Documents\\scraping\\programs\\file.txt", "w")
for i in range(100):
button.click()
driver.switch_to.window(driver.window_handles[2]) #HERE
if driver.title == "":
file.write("No title\n")
else:
file.write("Title: "+driver.title+"\n")
file.write("URL: "+driver.current_url+"\n\n")
driver.close()
driver.switch_to.window(driver.window_handles[1]) #HERE
file.close()
此代码可能不适合您,因为我的 Chrome 每次通过 selenium 打开它时都会打开设置。如果您不这样做,只需将代码中标有“#HERE”的“[]”中的数字更改为小一号(即 1 和 0,而不是 2 和 1)。