Question

我正在使用BeautifulSoup，尝试解析一个看起来像这样的简单HTML文档：

enter image description here

（当然，结构继续以这种基本方式更深层次。但是，偶尔会有一个额外的子弹，它不提供任何信息，因此我想忽略它。）

我的目标是将其解析为JSON格式。

我希望最终结果如下：

{
    "Outer List": {
        "Inner List" : [
            "info 1", 
            "info 2", 
            "info 3"
        ]
    }
}

下面的代码（所有感谢@Zero Piraeus）非常接近工作： Parsing nested HTML list with BeautifulSoup

from bs4 import BeautifulSoup
from pprint import pprint
soup = BeautifulSoup("""
   <html>
     <body>
      <ul class="rootList">
       <li class="liItem endPlus">
        <span class="itemToBeAdded">
         Outer List
        </span>
       </li>
       <li class="noBulletsLi ">
        <ul class="innerUl">
         <li class="liItem crossPlus">
          <span class="itemToBeAdded">
           Inner List
          </span>
          <ul class="grayStarUl ">
           <li class="">
            <span class="phrasesToBeAdded">
             info 1
            </span>
           </li>
           <li class="">
            <span class="phrasesToBeAdded">
             info 2
            </span>
           </li>
           <li class="">
            <span class="phrasesToBeAdded">
             info 3
            </span>
           </li>
          </ul>
         </li>
          </ul>
         </li>
        </ul>
     </body>
    </html>
""")

ul = soup.body.ul

def dictify(ul):
    result = {}
    for li in ul.find_all("li", recursive=False):
        list = []
        key = next(li.stripped_strings)
        ul = li.find("ul")
        if ul:
            result[key] = dictify(ul)
        else:
            result[key] = None
    return result

这段代码返回：

{u'Inner List': {u'Inner List': {u'info 1': None,
                                 u'info 2': None,
                                 u'info 3': None}},
 u'Outer List': None}

我试图达到：

{u'Outer List': {u'Inner List': [u'info 1',
                                  'info 2',
                                  'info 3']}

如何将我的'info X'项目作为值添加到列表中，以有希望的合理可扩展方式......并忽略可能存在的那些讨厌的子弹？

感谢您阅读此内容！

Answer 1

以下是一种方法：

from bs4 import BeautifulSoup

data = """your html goes here""" 
soup = BeautifulSoup(data)

inner_ul = soup.find('ul', class_='innerUl')
inner_items = [li.text.strip() for li in inner_ul.ul.find_all('li')]

outer_ul_text = soup.ul.span.text.strip()
inner_ul_text = inner_ul.span.text.strip()

result = {outer_ul_text: {inner_ul_text: inner_items}}
print result

打印：

{u'Outer List': {u'Inner List': [u'info 1', u'info 2', u'info 3']}}

使用BeautifulSoup从HTML创建JSON结构

1 个答案: