如何提取从网站上报废的Json数据

时间:2018-05-09 19:28:05

标签: python json web-scraping beautifulsoup web-crawler

我使用Beautiful soup从网站中提取数据。内容是JSON,我需要提取所有display_name值。我不知道如何导航和打印我需要保存在CSV中的值。

我尝试使用像这样的一些数组示例

for productoslvl in soup2.findAll('script',{'id' :'searchResult'}):

    element = jsons[0]['display_name']
    print (element)

但我一直得到KeyError

这是JSON数据:

{
    'page_size': -1,
    'refinements': [{
        'display_name': 'Brand',
        'values': [{
            'display_name': 'Acqua Di Parma',
            'status': 4,
            'value': 900096
        }],
        'type': 'checkboxes'
    }, {
        'display_name': 'Bristle Type',
        'values': [{
            'display_name': 'Addictive',
            'status': 1,
            'value': 14578019
        }, {
            'display_name': 'Casual',
            'status': 1,
            'value': 14578020
        }, {
            'display_name': 'Chic',
            'status': 1,
            'value': 14301148
        }, {
            'display_name': 'Polished',
            'status': 1,
            'value': 14578022
        }],
        'type': 'checkboxes'
    }, {
        'display_name': 'Coverage',
        'values': [{
            'display_name': 'Balanced',
            'status': 1,
            'value': 14301025
        }, {
            'display_name': 'Light',
            'status': 1,
            'value': 14577894
        }, {
            'display_name': 'Rich',
            'status': 1,
            'value': 14577895
        }],
        'type': 'checkboxes'
    }, {
        'display_name': 'Formulation',
        'values': [{
            'display_name': 'Cream',
            'status': 1,
            'value': 100069
        }, {
            'display_name': 'Spray',
            'status': 1,
            'value': 100072
        }],
        'type': 'checkboxes'
    }

0 个答案:

没有答案