我正在使用selenium
使用python制作网络抓取工具在这里,我使用chromedriver成功获得了内容,但是当我尝试制作时出现了问题
无头访问通过PhantomJS爬行。 find_element_by_id
或find_element_by_name
无效
这些之间有什么区别吗?实际上我试图让这个无头,因为我想要运行它
ubuntu服务器中的代码作为没有GUI支持的批处理作业。
我的脚本如下所示。
from selenium import webdriver
from selenium.webdriver.common.by import By
import time
from selenium.webdriver.common.keys import Keys
from bs4 import BeautifulSoup
import re
#driver = webdriver.PhantomJS('/Users/user/Downloads/phantomjs-2.1.1-macosx/bin/phantomjs')
#driver = webdriver.Chrome('/Users/user/Downloads/chromedriver')
driver = webdriver.PhantomJS()
driver.set_window_size(1120, 550)
driver.get(url)
driver.implicitly_wait(3)
#here I tried two different find_tag things but both didn’t work
user = driver.find_element(by=By.NAME,value="user:email")
password = driver.find_element_by_id('user_password')