我正在开发一个抓取脚本来收集authwall后面的一些数据,我在ublock中有一个自定义过滤器,这使我越过了authwall,但是当我使用Selenium将铬与ublock一起加载铬时,它没有过滤器。如果有帮助,我正在使用Linux。
我尝试先暂停它,然后再获取信息,以便我可以检查过滤器,并且它是空白的。
这是代码的一部分
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
chrome_option_settings = Options()
chrome_option_settings.add_argument('--window-size=1920x1080')
extension_path = r'/home/user/.config/chromium/Default/Extensions/cjpalhdlnbpafiamejdnhcphjbkeiagm/1.20.0_0'
chrome_option_settings.add_argument('load-extension='+extension_path)
chrome_driver = "/usr/bin/chromedriver"
driver = webdriver.Chrome(chrome_options=chrome_option_settings, executable_path=chrome_driver)
driver.get(url)
我也尝试过使用Chrome资料,但是两者都没有帮助。
chrome_options.add_argument("user-data-dir=/home/user/.config/chromium/Default")
或
chrome_options.add_argument("--profile-directory=/home/user/.config/chromium/Default")
任何帮助将不胜感激
答案 0 :(得分:0)
您可以尝试使用Options()并使用ublock路径调用add_extension,希望这会有所帮助
to