Python:从一些令人讨厌的HTML中提取数据

时间:2012-10-31 11:01:41

标签: python html parsing text-extraction

我的问题与HTMLParser的使用有关,但与一些nast html代码有关 我有一个包含多个html / css条目的文件/网页,并且在某些地方,我得到的这些频繁重复的部分html代码我需要解析以提取某些特定数据。

例如:

1)
要提取的数字66 在此评论中提取的编号123456

<h3 class="s KB8NC">66.&hsbc; 
<!--
        <A name="simp123456" href="text.php?p=1&i_simp_z_boc_nb_sec=123456&i_simp_s_vitrazka=1">
-->
ristill advocka, sygint: SURVE/123-021/11-2/XX</h3>


另一个频繁出现的条目成对出现:

2)
第一个条目是忽略,因为空'数据' 提取数 123456

<p class="monozzio"></p>
<p class="monozzio"><a href="text.php?p=1&pup;i_simp_z_boc_nb_sec=123456&pup;i_simp_s_vitrazka=1">monozzio...</a></p> 



到目前为止,这是我的第一堂课,但它开始超出我的技能,任何帮助都会受到赞赏。

from HTMLParser import HTMLParser
class MyParser(HTMLParser):  
   def __init__(self):
HTMLParser.__init__(self)
self.recording = 0
self.data = []
   def handle_starttag(self, tag, attributes):
     if tag != 'p':
       return
     if self.recording:
       self.recording += 1
       return
     for name, value in attributes:
     if name == 'class' and value == 'monozzio':
        break
     else:
     return
     self.recording = 1

def handle_endtag(self, tag):
  if tag == 'p' and self.recording:
    self.recording -= 1

def handle_data(self, data):
  if self.recording:
    ##############################
    #here parse data to get 123456
    ##############################
  self.data.append(data)

p = MyParser()
f = open('file.html', 'r')
htm = f.read()
p.feed(htm)
print '\n'.join(p.data)
p.close()

1 个答案:

答案 0 :(得分:4)

这不是您问题的直接解决方案,但BeautifulSoup是一个可以更轻松地解析HTML的库。

然后你可以做类似的事情:

import re
from bs4 import BeautifulSoup

html = BeautifulSoup(your_html_content)
for link in html.find_all('p.monozzio a'):  # use css selectors
    href = link.get('href')
    reg = re.compile('i_simp_z_boc_nb_sec=([0-9]+)')
    nbrs = reg.findall(href)  # regex to extract values

请注意,我没有测试代码,这只是一个大概。