如何在selenium(scrapy)中浏览javascript链接然后回到原始页面?

时间:2014-07-23 17:20:21

标签: javascript selenium scrapy

我在处理包含javascript链接的网页时遇到了麻烦。问题是该页面包含其链接中包含javascript的城市列表。现在我逐个导航到每个链接,抓取一些信息,然后回到列表并移动到下一个城市并继续抓取。

问题是在使用selenium web驱动程序点击javascript链接后,当我导航回列表页面时,响应丢失了,我得到如下错误:

selenium.common.exceptions.NoSuchElementException: Message: u'Unable to locate element:     {"method":"id","selector":"some_id"}'

有什么办法吗?

1 个答案:

答案 0 :(得分:0)

通常,javascript只处理ajax请求的帖子。你只需要了解javascript正在做什么,并在Scrapy中重新实现相同的逻辑,而不需要Selenium。 为此,只需使用Chrome开发者工具或Firefox Firebug即可。 如果你需要在javascript中设置的变量,我想你可以使用像v8这样的javascript引擎(在像pyV8这样的包装器中)。

你有一个我们可以帮助你的例子吗?