在数据刮擦中挣扎

时间:2019-03-05 08:37:48

标签: python selenium

https://www.solopress.com/business-cards/economy/

使用Python Selenium。 我正尝试在下表中抓取定价数据。到目前为止,我已经弄清楚了如何遍历大小选择器。但我不知道如何遍历其他选择器(印刷面等)。似乎没有唯一的标识符。

大小Xpath

//*[@id="options"]/div/a/span[2]

印刷面Xpath

//*[@id="options"]/div/a/span[2]

这是我用来遍历有效的尺寸选择器的代码。

def nextSize():
    global c
    global tablecounter
    global cellnum

    c = 2
    global dropdownSize
    dropdownSize = driver.find_elements_by_xpath('//*[@id="options"]/div/div/ul/li/ul/li/div')
    for i in dropdownSize:
        driver.implicitly_wait(10)
        time.sleep(5)
        tableExtractor()
        c = str(c)
        driver.find_element_by_xpath('/html/body/div[2]/div[1]/div[1]/div[1]/div[2]/form/div[3]/div/a/span[3]/b').click()
        time.sleep(5)
        op = '//*[@id="options"]/div/div/ul/li/ul/li[%s]/div' % c
        try:
            getSize = driver.find_element_by_xpath(op)
            sizeName = getSize.get_attribute('innerHTML')
            sizeName = sizeName.lstrip()
            sizeName = sizeName.rstrip()
            print sizeName
            ws.cell(row=cellnum,column=1).value = sizeName
            ws.cell(row=cellnum,column=2).value = sideName
            cellnum += 1
        except:
            break
        try:
            driver.find_element_by_xpath(op).click()
            c = int(c)
            c += 1
        except:
            driver.find_element_by_xpath('/html/body/div[2]/div[1]/div[1]/div[1]/div[2]/form/div[3]/div/a/span[3]/b').click()
            break

nextSize()

1 个答案:

答案 0 :(得分:2)

以下两个xPath似乎可以识别这两个元素,因为它们具有不同的innerHTML:

//*[@class="select2-result-label ui-select-choices-row-inner" and text()[contains(., "Single Sided")]]    

//*[@class="select2-result-label ui-select-choices-row-inner" and text()[contains(., "Double Sided")]]