Question

我一直在开发JavaScript，但是Python对我来说仍然感觉有点新鲜。我试图用Python从一个简单的网页上抓取内容（基本上是一个包含不同部分的产品列表）。内容是动态生成的，因此使用selenium模块。

内容结构与此类似，有几个产品部分：

<div class="product-section">
    <div class="section-title">
        Product section name
    </div>
    <ul class="products">
        <li class="product">
            <div class="name">Wooden Table</div>
            <div class="price">99 USD</div>
            <div class="color">White</div>
        </li>
    </ul>
</div>

用于抓取产品的Python代码：

driver = webdriver.Chrome()
driver.get("website.com")
names = driver.find_elements_by_css_selector('div.name')
prices = driver.find_elements_by_css_selector("div.price")
colors = driver.find_elements_by_css_selector('div.color')

allNames = [name.text for name in names]
allPrices = [price.text for price in prices]
allColors = [color.text for color in colors]

现在我获得了所有产品的属性（见下文），但我不能将它们与不同的部分分开。

目前的结果
木桌，99美元，白色
草坪主席，39美元，黑色
帐篷 - 4人，299美元，迷彩
等。

期望的结果：
户外家具
木桌，99美元，白色
草坪主席，39美元，黑色

露营装备
帐篷 - 4人，299美元，迷彩
Thermos，19 USD，Metallic

最终目标是将内容输出到excel产品列表中，因此我需要将这些部分分开（与其匹配的部分标题）。知道如何将它们分开，即使它们具有相同的类名吗？

Answer 1

您几乎就在那里 - 按部分对产品进行分组，然后从部分开始并找到其中的所有元素。至少你的样本html意味着它的结构允许它。

根据您的代码，这是一个带有解释性注释的解决方案。

driver = webdriver.Chrome()
driver.get('website.com')

# a dict where the key will be the section name
products = {}

# find all top-level sections
sections = driver.find_elements_by_css_selector('div.product-section')

# iterate over each one
for section in sections:
    # find the products that are children of this section
    # note the find() is based of section, not driver
    names = section.find_elements_by_css_selector('div.name')
    prices = section.find_elements_by_css_selector('div.price')
    colors = section.find_elements_by_css_selector('div.color')

    allNames = [name.text for name in names]
    allPrices = [price.text for price in prices]
    allColors = [color.text for color in colors]

    section_name = section.find_element_by_css_selector('div.section-title').text

    # add the current scraped section to the products dict
    # I'm leaving it to you to match the name, price and color of each ;)

    products[section_name] = {'names': allNames,
                              'prices': allPrices,
                              'colors': allColors,}

# and here's how to access the result

# get the 1st name in a section:
print(products['Product section name']['names'][0])  # will output "Wooden Table"

# iterate over the sections and products:
for section in products:
    print('Section: {}'.format(section))
    print('All prices in the section:')
    for price in section['prices']:
       print(price)

将具有相同类名的div中的内容刮入数组[Python]

1 个答案: