我在处理包含javascript链接的网页时遇到了麻烦。问题是该页面包含其链接中包含javascript的城市列表。现在我逐个导航到每个链接,抓取一些信息,然后回到列表并移动到下一个城市并继续抓取。
问题是在使用selenium web驱动程序点击javascript链接后,当我导航回列表页面时,响应丢失了,我得到如下错误:
selenium.common.exceptions.NoSuchElementException: Message: u'Unable to locate element: {"method":"id","selector":"some_id"}'
有什么办法吗?
答案 0 :(得分:0)
通常,javascript只处理ajax请求的帖子。你只需要了解javascript正在做什么,并在Scrapy中重新实现相同的逻辑,而不需要Selenium。 为此,只需使用Chrome开发者工具或Firefox Firebug即可。 如果你需要在javascript中设置的变量,我想你可以使用像v8这样的javascript引擎(在像pyV8这样的包装器中)。
你有一个我们可以帮助你的例子吗?