如何从没有定义特征的表中提取值?

时间:2019-05-08 23:33:28

标签: python html beautifulsoup

我正在尝试从交叉引用网站获取零件编号,但是当我检查元素时,表格周围唯一使用的标签是tr,td,tbody和table,这些标签在页面上的许多其他地方都使用过。目前,我正在使用美丽汤和硒,并且正在考虑将lxml.html用于其xpath工具,但是我似乎无法使用它来获得美丽汤。

我试图从中获取价值的网站是 https://jdparts.deere.com/servlet/com.deere.u90.jdparts.view.servlets.searchcontroller.PartialPartNumberSearchController?action=UNSIGNED_VIEW 从技术上讲,我只需要零件号,品牌,零件号,零件类型和描述值,但是我可以处理整个表格。

当我使用

html2 = browser.page_source
source = soup(html2, 'html.parser')
for article in source.find_all('td', valign='middle'):
    PartNumber = article.text.strip()
        number.append(PartNumber)

它为我提供了页面上的所有值,并且在一行文本中都提供了几个空白值,这就像手动拉动这些值一样耗费大量精力。

最终,我希望获得表中的值,并将其格式化为类似于表的格式,并且我可以删除不需要的列。收集表中信息的最佳方法是什么?

1 个答案:

答案 0 :(得分:0)

一种方法是找到Qty.,它是您想要的表的开始处的元素,然后查找上一个表。然后,您可以遍历tr元素,并从每一行中的所有td元素中生成一行值。

Python itemgetter()函数在这里可能很有用,因为它使您可以从更大的列表中提取所需的元素(以任何顺序)。在此示例中,我选择了项目1,2,3,4,5,但是如果不需要Make,则可以提供1,3,4,5

如果是这种情况,它会检查Next Page按钮,如果存在,则调整params以获得下一页结果,搜索结果可能会有多页结果。这一直持续到找不到下一页为止:

from operator import itemgetter
import requests
from bs4 import BeautifulSoup
import csv


search_term = "AT2*"

params = {
    "userAction" : "search",
    "browse" : "",
    "screenName" : "partSearch",
    "priceIdx" : 1,
    "searchAppType" : "",
    "searchType" : "search",
    "partSearchNumber" : search_term,
    "pageIndex" : 1,
    "endPageIndex" : 100,
}

url = 'https://jdparts.deere.com/servlet/com.deere.u90.jdparts.view.servlets.searchcontroller.PartNumberSearch'
req_fields = itemgetter(1, 2, 3, 4, 5)
page_index = 1
session = requests.Session()
start_row = 0

with open('output.csv', 'w', newline='') as f_output:
    csv_output = csv.writer(f_output)

    while True:
        print(f'Page {page_index}')

        req = session.post(url, params=params)
        soup = BeautifulSoup(req.content, 'html.parser')
        table = soup.find(text='Qty.').find_previous('table')

        for tr in table.find_all('tr')[start_row:]:
            row = req_fields([value.get_text(strip=True) for value in tr.find_all('td')])

            if row[0]:
                csv_output.writerow(row)

        if soup.find(text='Next Page'):
            start_row = 2

            params = {
                "userAction" : "NextPage",
                "browse" : "NextPage",
                "pageIndex" : page_index,
                "endPageIndex" : 15,
            }
            page_index += 1

        else:
            break

哪个会给您一个output.csv文件开头:

Part Number,Make,Part No.,Part Type,Description
AT2,Kralinator,PMTF15013,Filters,Filter
AT2,Kralinator,PMTF15013J,Filters,Filter
AT20,Berco,T139464,Undercarriage All Makes,Spring Pin
AT20061,A&I Products,A-RE29882,Clutch,Clutch Disk

注意:这将使用requests而不是selenium,因为它将更快。