Question

我使用PyQt4编写一个python脚本来抓取包括AJAX在内的网页。它工作，但它只能得到“单屏”页面，我认为这与屏幕分辨率有关。我在没有X环境的CentOS服务器上运行脚本。我使用 Xvfb 并执行以下设置：

$ Xvfb :100 -screen 0 9000x9000x24 &
$ export DISPLAY=:100

但它无法获得更多网络信息。

我是PyQt4的新手。有没有一种方法可以设置QWebView大小来扩大显示窗口大小？

任何关于QtWebkit的手册也很受欢迎。

以下是我的代码：

#!/usr/bin/env python
#coding: utf-8


import sys

from PyQt4.QtCore import QUrl, SIGNAL, QSize
from PyQt4.QtGui import QApplication
from PyQt4.QtWebKit import QWebPage, QWebView, QWebSettings

class WebPage(QWebPage):

    def javaScriptConsoleMessage(self, message, lineNumber, sourceID):
        sys.stderr.write('Javascritp error at line number %d\n' % (lineNumber))
        sys.stderr.write('%s\n' % (message, ))
        sys.stderr.write('Source ID: %s\n' % (sourceID, ))


class Crawler(QApplication):

    def __init__(self, url):
        super(Crawler, self).__init__(sys.argv)
        self.url = url
        self.web_view = QWebView()
        self.web_page = WebPage()
        self.web_view.setPage(self.web_page)
        self.web_frame = self.web_page.currentFrame()

        print 'Before connecting'
        self.connect(self.web_view, SIGNAL('loadFinished(bool)'), self.loadFinished)
        print 'After connecting'

        print 'Before loading'
        self.web_frame.load(QUrl(self.url))
        print 'After loading'

    def loadFinished(self, ok):
        self.web_page.setViewportSize(self.web_page.mainFrame().contentsSize())
        print 'In callback, before writing'
        with open('jd.txt', 'ab+') as fp:
            fp.write(self.web_page.currentFrame().toHtml().toUtf8())
        print 'In callback, after writing'


if __name__ == '__main__':
    url = 'http://www.360buy.com/product/707047.html'
    crawler = Crawler(url)
    sys.exit(crawler.exec_())

Answer 1

您可以使用setViewportSize方法将web_page的大小调整为实际大小：

self.web_page.setViewportSize(self.web_page.mainFrame().contentsSize())

发出loadFinished后触发滚动事件：

def loadFinished(self, ok):
    js_scroll = "window.scrollBy(0, 200);"
    self.web_page.mainFrame().documentElement().evaluateJavaScript(js_scroll)

虽然我不确定您正在加载的页面是如何实际工作的，但您可能需要等到滚动事件后ajax请求完成才能在页面上显示数据。

在PyQt4中的QWebView中设置页面大小

1 个答案: