Question

我正在尝试访问所有显示的网址，但它首先访问并非全部

Google搜索网址https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors

    browser.get('https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors')
    time.sleep(5)

    try:        
        p_links = browser.find_elements_by_css_selector(' div > h3 > a')
        url_list = []
        for urls in p_links:
            if "Rashmi Custom Tailors" in urls.text:

                url = urls.get_attribute("href")
                url_list.append(url)
                for url in url_list:
                    browser.get(url)
                    time.sleep(4)

    except:
        pass

Answer 1

你无缘无故地使用两个循环。试试这个：

        p_links = browser.find_elements_by_css_selector(' div > h3 > a') 
        for urls in p_links: // All the urls in first page
           if "Rashmi Custom Tailors" in urls.text: 
              url = urls.get_attribute("href") // the first match
              browser.get(url) // goto first match
              time.sleep(4)

然后使用计数器导航到第二页进行比较，例如：

if counter == len(p_link): 
   // click this_page + 1 etc.

Answer 2

您的问题是不良做法造成的：

try:
   do something
except:
    pass

使用这个行块，您无法捕获有关程序运行原因的任何信息。 它抛出的异常有助于您改进代码，不要像这样进行内容。

现在，回到你的问题。在您的代码中，存在一些逻辑错误，如@Mohammad Rakib Amin's answer。所以，对你的代码做一点改动，你得到了这个：

from selenium import webdriver
browser = selenium.Chrome()
browser.get('https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors')
time.sleep(5)
p_links = browser.find_elements_by_css_selector(' div > h3 > a')
for urls in p_links:
    if "Rashmi Custom Tailors" in urls.text:
        url = urls.get_attribute("href")
        browser.get(url)
        time.sleep(4)

但这并没有解决您的问题，您的浏览器只会访问此第一个网址就像你描述并提出一个例外：

StaleElementReferenceException: Message: stale element reference: element is not attached to the page document

抛出此异常是因为在第二个循环期间，您正在使用的元素不再附加到浏览器的当前页面。

对此的解决方案就像您所做的那样，找到所有元素并将所有网址附加到列表中。你像这样迭代列表，它在我的计算机上运行良好。试试吧：

from selenium import webdriver

browser = webdriver.Chrome()
query_url = "https://www.google.co.uk/search?q=Rashmi&oq=Rashmi&aqs=chrome..69i57j69i60l3.6857j0j1&sourceid=chrome&ie=UTF-8#q=Rashmi+Custom+Tailors"
browser.get(query_url)
p_links = browser.find_elements_by_css_selector("div > h3 > a")
urls = []
for elem in p_links:
    text = elem.text
    url = elem.get_property('href')
    if "Rashmi Custom Tailors" in elem.text:
        urls.append(url)

for url in urls:
    browser.get(url)

也许你在第二次循环中做了一些indent error。

P.S：你的问题应该包含所需的所有代码，这使得其他人更容易帮助你。

如何访问所有URL的Selenium Python

2 个答案: