当数据来自JavaScript时,我可以从网页中抓取数据吗?

时间:2013-07-10 18:29:49

标签: javascript python html

我不确定如何表达我的问题,但我会尽力给予它。

如果我加载网页,则在HTML中执行JavaScript文件。如果我查看页面源代码,我可以看到该JavaScript的来源(虽然格式不是很好,很难理解)。

有没有办法从例如运行JavaScript Python代码,无需通过浏览器?即如果我想访问该JavaScript中的特定函数,是否有一种干净的方法可以从Python脚本中调用它,并读取结果?

例如......网页显示我想要访问的号码。它不在页面源中,因为它是JavaScript调用的结果。有没有办法从Python调用这个JavaScript?

3 个答案:

答案 0 :(得分:1)

如果你想用javascript抓取一个页面,你至少有两个选择:

  • 使用selenium加载页面并获取您感兴趣的节点值
  • 使用python-spidermonkey直接利用您的python脚本中的javascript,获取您感兴趣的价值。

答案 1 :(得分:0)

虽然你的问题不是很清楚。我猜你正在尝试访问javascript控制台。

在谷歌浏览器中:

  • 按F12
  • 转到“控制台”标签

在安装了Firebug的Mozilla Firefox中:

  • 打开Firebug
  • 转到“控制台”标签

在控制台中,您可以执行javascript查询(调用函数,访问变量等)。

我希望这能正确回答你的问题。

答案 2 :(得分:0)

我认为你在谈论Obfuscate js代码

你总是可以对它们进行去混淆

有很多工具可供使用

这是一个mozilla的插件 https://addons.mozilla.org/en-us/firefox/addon/javascript-deobfuscator/

和在线工具 http://jsbeautifier.org/