spynner不加载XHR数据

时间:2014-04-28 19:36:00

标签: python xmlhttprequest spynner

我正在构建一个脚本来监控报告服务。根据处理报告的方式,报告以HTML格式显示或通过XmlHttpRequest提供。

作为检查页面的工具,我想使用spynner,它非常适合HTML,但似乎当数据来自XHR时我无法使用它。

测试代码如下:

    #!/usr/bin/env python

# -*- coding: utf-8 -*-
__docformat__ = 'restructuredtext en'

from time import sleep
from spynner import browser
import pyquery
from PyQt4.QtCore import QUrl
from PyQt4.QtNetwork import QNetworkRequest, QNetworkAccessManager
from PyQt4.QtCore import QByteArray


def load_page(br):
  ret = br.load_jquery(True)
  print ret
  return 'Japan' in br.html

br = browser.Browser(
debug_level=4
)
br.load('https://foobar.eu/newton/cgi-bin/cognos.cgi')
br.create_webview()
br.show()

#br.load("https://foobar.eu/newton/cgi-bin/cognos.cgi?b_action=xts.run&m=portal/cc.xts&m_folder=iA37B5BBC0615469DA37767D2B6F1DCF1")
#br.browse()
res = br.load("https://foobar.eu:443/newton/cgi-bin/cognos.cgi?b_action=cognosViewer&ui.action=run&ui.object=/content/folder[@name='DMA Admin Zone']/folder[@name='02. Performance Benchmark Module']/folder[@name='1. Reports']/report[@name='CQM_Test_3_HTML_Heavy_Local_Processing_Final']&ui.name=CQM_Test_3_HTML_Heavy_Local_Processing_Final&run.outputFormat=&run.prompt=true", 1, wait_callback=load_page)


d = str(pyquery.PyQuery(br.html))

if d.find("Japan") > -1:
  print 'We discovered Japan!'
else:
  print 'Japan is nowhere to be seen!'

sleep(10)

评论中的URL是一个页面,其中包含指向报告的链接。当我手动点击报告时,报告有效(通过XHP)。但是,我似乎无法通过脚本来实现它。

br.load_jquery始终返回None。

作为帮助,当我手动点击链接时,我添加了部分spynner调试跟踪:http://fpaste.org/97583/13987135/ 在萤火虫中,我可以清楚地看到XHP响应字符串' Japan' in。

我错过了什么?

1 个答案:

答案 0 :(得分:0)

使用以下代码显然替换加载页面功能使其工作:

def load_page(br):
  br.wait(5)
  return 'Japan' in br.html