UnicodeEncodeError: 'charmap' codec can't encode character '\ufffd' in position 36: character maps to <undefined>

时间:2021-06-29 11:51:46

标签: database selenium web-scraping unicode character

项目:网络抓取您从 https://theuselessweb.com/ 获得的标题和网址

问题 1:http://www.republiquedesmangues.fr/ 的标题使用了程序(或其他)无法使用的字符,因此程序崩溃。

问题 2:有没有简单的方法可以摆脱倍数?当一个 URL/标题被保存两次或更多次时,我想删除除一个之外的所有内容。 (也许通过使用数据库。如果是这样,请建议一个。)

代码:

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from time import sleep

PATH = r"C:\Users\Leander\Documents\scraping\chromedriver.exe"
driver = webdriver.Chrome(PATH)
driver.get("https://theuselessweb.com/")
driver.switch_to.window(driver.window_handles[-1])
button = driver.find_element_by_id("button")

file = open("C:\\Users\\XXX\\Documents\\scraping\\programs\\file.txt", "w")
for i in range(100):
    button.click()
    driver.switch_to.window(driver.window_handles[2]) #HERE
    if driver.title == "":
        file.write("No title\n")
    else:
        file.write("Title: "+driver.title+"\n")
    file.write("URL: "+driver.current_url+"\n\n")
    driver.close()
    driver.switch_to.window(driver.window_handles[1]) #HERE
file.close()

此代码可能不适合您,因为我的 Chrome 每次通过 selenium 打开它时都会打开设置。如果您不这样做,只需将代码中标有“#HERE”的“[]”中的数字更改为小一号(即 1 和 0,而不是 2 和 1)。

0 个答案:

没有答案