是否有可能使用pyexecjs与scrapy？

Question

我刚才偶然发现了pyexecjs，我想知道它是否可以与scrapy一起使用来抓取JS生成的数据。 https://github.com/doloopwhile/PyExecJS

我检查了如何使用库的示例，但我不确定如何将其与scrapy集成。

Answer 1

我强烈建议您使用PhantomJS尝试Selenium。这是一个示例代码。

from selenium import webdriver

url = "http://www.taobao.com/"
browser = webdriver.PhantomJS()
browser.get(url)
input = browser.find_element_by_xpath("//input[@id='q']")
bnt = browser.find_element_by_xpath("//button[@class='btn-search']")
input.send_keys("watch")
bnt.submit()

有关API的更多信息，请参阅WebDriver API 至于如何将硒与scrapy整合，我的建议是将它嵌入到你蜘蛛的解析功能中。例如：