Question

我想动态搜索搜索结果。

如果我不知道搜索结果的网址，我该如何开始抓取？

这不是单一的谷歌搜索;它是搜索引擎专用于查找汽车的vin号码的结果。

我编写了通过excel文件的代码并根据vins进行搜索。搜索结果在新窗口中一个接一个地出现，我想从每个结果页面中获取特定数据。

我希望这是有道理的。

这是我到目前为止在python中编写的代码：

from selenium import webdriver
import time
from selenium.webdriver.common.keys import Keys
import openpyxl
import os
import webbrowser
import csv
import urllib.request
from bs4 import BeautifulSoup as soup
from openpyxl import load_workbook

chrome_path = r"C:\Users\siamak\Downloads\chromedriver_win32\chromedriver.exe"
driver = webdriver.Chrome(chrome_path)

wb = openpyxl.load_workbook('VINS.xlsx')
sheet=wb['Sheet1']

for row in sheet.iter_rows(min_row=1, max_col=1, max_row=3):


    for cell in row:
        driver.get("http://www.autoreturn.com/las-vegas-nv/find-vehicle/")
        driver.find_element_by_name("vin")
        driver.find_element_by_name("vin").send_keys((cell.value).strip())
        driver.find_element_by_xpath("""//*[@id="searchParameters"]/div[3]/div[2]""").click()
    #   driver.get("http://www.autoreturn.com/las-vegas-nv/find-vehicle/results")
        driver.find_element_by_xpath("""//*[@id="vehicle-search-results"]/form/div/input""").click()
        time.sleep(4)

抓取搜索结果

0 个答案: