如何监视未使用本地IP的Selenium浏览器的网络流量?

时间:2019-08-19 22:15:09

标签: python selenium web-scraping proxy

我试图在监视网络流量的同时使用Python中的Selenium从网站抓取数据,但是在为Chrome驱动程序使用其他IP时无法监视网络流量。他们有一种方法可以监视网络流量,同时让请求看起来好像来自另一个不是我自己的IP地址吗?

我尝试使用browsermob-proxy,但是当我希望它们从其他代理发送并返回时,所有请求都来自我的本地主机ip,所以类似这样:

Chrome(0.0.0.0)=>监控代理(0.0.0.0)=>代理(1.2.3.4)=>网站

def create_browsermob_proxy():

    for proc in psutil.process_iter():
        # check whether the process name matches
        if proc.name() == "browsermob-proxy":
            proc.kill()

    dict = {'port': 8080}
    server = Server(path="C:/Path/To/File/browsermob-proxy.bat", options=dict)
    server.start()
    time.sleep(1)
    proxy = server.create_proxy()

    time.sleep(1)

    chrome_options = webdriver.ChromeOptions()
    chrome_options.add_argument("--proxy-server={}".format(proxy.proxy))
    driver = webdriver.Chrome(chrome_options=chrome_options)

    proxy.new_har("google")
    driver.get("https://whatismyipaddress.com/")
    print(proxy.har)  # returns a HAR JSON blob

任何帮助将不胜感激!

0 个答案:

没有答案