Python在浏览器中看到http：html页面 - 带有javascripts结果

Question

我是否可以在浏览器中看到http页面 - 在javascripts运行后完全形成？无需提交数据和按下按钮。恕我直言它的标准任务，我在哪里可以看到运行所有脚本并获得结果的示例？

经：

u = urllib.request.urlopen('https://www.*')
data = u.read()

如果我在浏览器中选择了查看源，我会看到页面。但是，当我检查页面上的元素时，我会看到代码是如何扩展的，例如：

<div class="js-events-container"></div>

扩展为：

<div class="js-events-container">    <table class="zebra noBorderTbl" style="width: 100%;">
        <tbody><tr>
            <th>1</th>
            <th>2</th>
            <th>3</th>
        </tr>
...
        </tr>
            </tbody></table>
</div>

Answer 1

我在类名中看到js，它可能是javascript，我认为没有办法用urllib获取整个页面。你需要在javascript启动后拉网站。你需要硒或幻影来完成这项工作。

Answer 2

您还可以查看此特定库dryscape。根据文档，它可以识别javascript。

Answer 3

我现在使用selenium加载页面，然后获取page_source。尽管有名称，但page_source不提供页面源，而是在运行java脚本后提供页面结果。