打开xml文件,在其中找到url,打开链接并搜索value - python lxml

时间:2013-07-11 13:50:26

标签: python xml url lxml

我正在使用lxml打开一个xml文件,并且在保存到新的xml文件之前我已经进行了大量编辑,所有这一切都正常。 在我打开的xml中,我有一个链接到网页的网址。在网页中有一些我想在我的开放xml中记录和使用的值。我搜索过但找不到从哪里开始。

亲切的问候。

更新 -

我正在使用以下代码从我的xml中查找url,这是有效的。然后,我可以将所有页面读入数据变量,打印正常:

url = tree.find("//video/products/product/read_only_info/read_only_value[@key='storeURL-GB']")
if url is not None:
    url = url.text
    data = urllib2.urlopen(url)
    data = data.read()
    print data

如何找到隐藏在网页中的特定字符串,这是我想要的网页数据:

<div id="content">

  <div class="padder">

    <div id="title" class="intro">
      <div class="left">
        <h1>This is the title</h1>
        &nbsp;&nbsp;<span rating-system="bbfc" rating-id="37" class="content-rating">15</span>
        <h2>this is more text</h2>
      </div>
      <div class="right">
        <a href="https://rthuere.erwerwer.ghty4e.fdfsdf.com" class="view-more">View More In Sci-Fi &amp; Fantasy</a>

      </div>

我需要获得“在科幻与幻想中查看更多”的价值或其他任何值。

亲切的问候。

2 个答案:

答案 0 :(得分:0)

如果您想获取所有节点的文本,可以使用Beautifulsoup来完成:

soup = BeautifulSoup(html_page)
for link in soup.findAll('a'):
    print link.text

这会回答你的问题吗?

答案 1 :(得分:0)

我正在使用以下代码打开然后搜索特定文本,这是有效的。

data = urllib2.urlopen(url)
data = data.read()
primaryGenre = data

if "View More In Sci-Fi &amp; Fantasy" in data:
    then do something else

问候。