Question

我正在尝试从交叉引用网站获取零件编号，但是当我检查元素时，表格周围唯一使用的标签是tr，td，tbody和table，这些标签在页面上的许多其他地方都使用过。目前，我正在使用美丽汤和硒，并且正在考虑将lxml.html用于其xpath工具，但是我似乎无法使用它来获得美丽汤。

我试图从中获取价值的网站是 https://jdparts.deere.com/servlet/com.deere.u90.jdparts.view.servlets.searchcontroller.PartialPartNumberSearchController?action=UNSIGNED_VIEW 从技术上讲，我只需要零件号，品牌，零件号，零件类型和描述值，但是我可以处理整个表格。

当我使用

html2 = browser.page_source
source = soup(html2, 'html.parser')
for article in source.find_all('td', valign='middle'):
    PartNumber = article.text.strip()
        number.append(PartNumber)

它为我提供了页面上的所有值，并且在一行文本中都提供了几个空白值，这就像手动拉动这些值一样耗费大量精力。

最终，我希望获得表中的值，并将其格式化为类似于表的格式，并且我可以删除不需要的列。收集表中信息的最佳方法是什么？

Answer 1

一种方法是找到Qty.，它是您想要的表的开始处的元素，然后查找上一个表。然后，您可以遍历tr元素，并从每一行中的所有td元素中生成一行值。

Python itemgetter()函数在这里可能很有用，因为它使您可以从更大的列表中提取所需的元素（以任何顺序）。在此示例中，我选择了项目1,2,3,4,5，但是如果不需要Make，则可以提供1,3,4,5。

如果是这种情况，它会检查Next Page按钮，如果存在，则调整params以获得下一页结果，搜索结果可能会有多页结果。这一直持续到找不到下一页为止：

from operator import itemgetter
import requests
from bs4 import BeautifulSoup
import csv


search_term = "AT2*"

params = {
    "userAction" : "search",
    "browse" : "",
    "screenName" : "partSearch",
    "priceIdx" : 1,
    "searchAppType" : "",
    "searchType" : "search",
    "partSearchNumber" : search_term,
    "pageIndex" : 1,
    "endPageIndex" : 100,
}

url = 'https://jdparts.deere.com/servlet/com.deere.u90.jdparts.view.servlets.searchcontroller.PartNumberSearch'
req_fields = itemgetter(1, 2, 3, 4, 5)
page_index = 1
session = requests.Session()
start_row = 0

with open('output.csv', 'w', newline='') as f_output:
    csv_output = csv.writer(f_output)

    while True:
        print(f'Page {page_index}')

        req = session.post(url, params=params)
        soup = BeautifulSoup(req.content, 'html.parser')
        table = soup.find(text='Qty.').find_previous('table')

        for tr in table.find_all('tr')[start_row:]:
            row = req_fields([value.get_text(strip=True) for value in tr.find_all('td')])

            if row[0]:
                csv_output.writerow(row)

        if soup.find(text='Next Page'):
            start_row = 2

            params = {
                "userAction" : "NextPage",
                "browse" : "NextPage",
                "pageIndex" : page_index,
                "endPageIndex" : 15,
            }
            page_index += 1

        else:
            break

哪个会给您一个output.csv文件开头：

Part Number,Make,Part No.,Part Type,Description
AT2,Kralinator,PMTF15013,Filters,Filter
AT2,Kralinator,PMTF15013J,Filters,Filter
AT20,Berco,T139464,Undercarriage All Makes,Spring Pin
AT20061,A&I Products,A-RE29882,Clutch,Clutch Disk

注意：这将使用requests而不是selenium，因为它将更快。

如何从没有定义特征的表中提取值？

1 个答案: