在Python中使用多处理时如何登录网页进行抓取

时间:2019-03-18 16:38:19

标签: python python-3.x selenium web-scraping

我正在尝试使用登录凭据连接到网页以对其进行爬网,但是我不确定是否正确执行了操作,因为仅URL不会得到结果。

我执行以下操作

import selenium
from selenium import webdriver
import time
from time import sleep

if __name__ == "__main__":


    browser = webdriver.Chrome('C:\\chromedriver.exe')
    browser.get('MyloginURL')

    username = browser.find_element_by_id('email')
    username.send_keys('myemail')

    password = browser.find_element_by_id('pass')
    time.sleep(4)
    password.send_keys('mypassword')

    sing_in = browser.find_element_by_xpath('//*[@id="send2"]')
    sing_in.click()


    with Pool(4) as p:
     records = p.map(parse, web_links)

    if len(records) > 0:
         with open('output_global.csv', 'a') as f:
          f.write('\n'.join(records))

以上,我正在使用同一会话?我在当前示例中使用正确的方法吗?

0 个答案:

没有答案