在python web scraping期间触发js事件

Question

# ./scrape.py
from lxml import html
import requests

url = "http://www.my-target-url.com"

page = requests.get(url)
# can I insert some js event codes to execute here?
tree = html.fromstring(page.content)
print tree.xpath("/html/to/target/data/text()")[0]

我这是为了抓取目标页面，它有几个按钮来更改数据。我想要所有可以从这些按钮导出的数据。我搜索了使用参数发送POST或GET的方法。似乎没有别的方法可以从该网页触发js事件（就像我在Chrome开发人员的控制台中所做的那样）。

有没有办法可以执行js事件来更改此python代码中所需数据的响应对象？我应该使用除请求之外的其他库吗？或者其他一些我可以搜索的方式？（比如制作一些Web浏览器对象并使用它？那么有什么可以帮助？）

Answer 1

简短回答，不。

所有javascript事件都由浏览器的js引擎处理。这意味着您还需要一个javascript引擎来处理和执行脚本并触发事件。