Python / bs4:div标签内的跨度 - 文本提取

时间:2014-07-31 09:02:49

标签: python html tags beautifulsoup

我正在从div标签中提取文本。关键是在div标签内部有一个没有开口对的标签。所以,如果我这样做:raw = soup.find('div', class_='inside').text 我只在标签之前获得了文字。

一个例子:

<div class='inside'><div>sth0</div><div>sth1</div></span><div>sth2<div></div>

soup.find('div', class_='inside').text

>>> sth0  sth1 

您是否知道如何从div标签中获取整个文本?感谢

编辑(根据Tanmaya Meher的说法,上面的代码应该可行,但对我来说并不是因为我附上了确切的问题

当我运行此代码时:

raw = firmHtml.find('div', class_='inside').text
print raw

我得到了

Katalóg   Obchody a veľkoobchod

而不是:

Katalóg   Obchody a veľkoobchod   Stavebniny   Izolačný materiál...

这是我的代码中的剪辑。

<div class="inside"><div class="inside2"><a href="/katalog/" style="font-size:12px" title="Katalóg"><span>Katalóg</span></a> <span class="sipka s1">&nbsp;</span> <a href="/katalog/obchody-a-velkoobchod/" style="font-size:12px" itemprop="url" title="Obchody a veľkoobchod"><span itemprop="title" >Obchody a veľkoobchod</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child" itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a href="/katalog/stavebniny_1/" style="font-size:12px" itemprop="url" title="Stavebniny"><span itemprop="title" >Stavebniny</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child" itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a href="/katalog/izolacny-material/" style="font-size:12px" itemprop="url" title="Izolačný materiál"><span itemprop="title" >Izolačný materiál</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child" itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a href="/katalog/protipoziarne-izolacie/" style="font-size:12px" itemprop="url" title="Protipožiarne izolácie"><span itemprop="title" >Protipožiarne izolácie</span></a></span> <span class="sipka s1">&nbsp;</span> Ing. Milan Kalafut</div></div></div><div id="main"><div id="content"><div itemscope itemtype="http://schema.org/LocalBusiness" class="business-container"><div id="lavy"><div class="foto s3"><img src="http://s.aimg.sk/katalog/css/images/nologo.gif" alt="Logo nieje k dispozícii" /></div><div id="moznosti">

也许我看不到什么。

1 个答案:

答案 0 :(得分:0)

#!/usr/bin/env python
# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup as BS

html_text = '<div class="inside"><div class="inside2"><a  href="/katalog/" style="font-size:12px"  title="Katalóg"><span>Katalóg</span></a> <span class="sipka s1">&nbsp;</span> <a  href="/katalog/obchody-a-velkoobchod/" style="font-size:12px"  itemprop="url"  title="Obchody a veľkoobchod"><span itemprop="title" >Obchody a veľkoobchod</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child"  itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a  href="/katalog/stavebniny_1/" style="font-size:12px"  itemprop="url"  title="Stavebniny"><span itemprop="title" >Stavebniny</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child"  itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a  href="/katalog/izolacny-material/" style="font-size:12px"  itemprop="url"  title="Izolačný materiál"><span itemprop="title" >Izolačný materiál</span></a></span> <span class="sipka s1">&nbsp;</span> <span itemprop="child"  itemscope itemtype="http://data-vocabulary.org/Breadcrumb" ><a  href="/katalog/protipoziarne-izolacie/" style="font-size:12px"  itemprop="url"  title="Protipožiarne izolácie"><span itemprop="title" >Protipožiarne izolácie</span></a></span> <span class="sipka s1">&nbsp;</span> Ing. Milan Kalafut</div></div></div><div id="main"><div id="content"><div  itemscope itemtype="http://schema.org/LocalBusiness"  class="business-container"><div id="lavy"><div class="foto s3"><img src="http://s.aimg.sk/katalog/css/images/nologo.gif" alt="Logo nieje k dispozícii" /></div><div id="moznosti">'

#html_text = open("a.html",'r').read() #I have commented this, you can do like this too; a.html file contains the same html code as above

firmHtml = BS(html_text)
raw = firmHtml.find('div', class_='inside').text

print (raw)

输出(在Linux上同时使用Python 2.7.5和Python 3.3.2):

Katalóg   Obchody a veľkoobchod   Stavebniny   Izolačný materiál   Protipožiarne izolácie   Ing. Milan Kalafut