Question

我一直在以下网址上运行python selenium脚本： -

http://www.amazon.in/s/ref=sr_pg_1?sort=salesrank&ie=UTF8&rh=n%3A1571277031&page=1&unfiltered=1

我想知道每种产品是否是畅销产品。运行相同的脚本有时会得到正确的结果，有时我会得到不正确的结果。

以下是我一直致力于的代码：

import sys
import csv
import os
import time
import urllib

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.action_chains import ActionChains

count = 1;
serviceurl = 'http://www.amazon.in/s/ref=sr_pg_1?'
for j in range(1,4):

    page = j;
    url = serviceurl + urllib.urlencode({ 'rh':'n:1571277031','page':page,'sort': 'salesrank' , 'unfiltered':'1', 'ie':'UTF8' });
    driver = webdriver.Chrome();
    driver.maximize_window() #For maximizing window
    driver.get(url);
    driver.implicitly_wait(3) #gives an implicit wait for 10 seconds
    while driver.execute_script("return document.readyState") != 'complete':
        pass;

    for i in range(1,17):

        temp = 0;
        print count;
        count+=1;

        try:
            print driver.find_element_by_xpath("/html/body/div[1]/div[2]/div/div[3]/div[2]/div/div[4]/div[1]/div/ul/li[%s]/div/div/div/div[2]/div[1]/div/div/a/span[1]/span/span"%(i)).text.encode('utf-8')

        except Exception as e:
            print "Not a best seller";
            # print e;

这是我运行相同脚本时得到的输出（正确的答案）： -

1
Best seller
2
Best seller
3
Not a best seller
4
Not a best seller
5
Best seller
6
Not a best seller

虽然我也得到以下输出（不正确的ans）： -

1
Not a best seller
2
Not a best seller
3
Not a best seller
4
Not a best seller
5
Not a best seller
6
Not a best seller

出现这种情况的原因是什么？以及这个问题的任何可能的解决方案？

Answer 1

如果要列出产品，则应使用带有id或类引用的选择器（检查源以分析它并尽可能提取类名或id，大多数浏览器允许右键单击元素启动检查）：

for i in range(17):
    product = driver.find_element_by_id('result_{}'.format(i))
    try:
        print product.find_element_by_xpath("//span[@class='sx-badge-text']").text.encode('utf-8')
    except:
        print 'not a best seller'

每次运行selenium脚本时提取不同的数据

1 个答案: