链接：https://www.softwareadvice.com/hr/zenefits-profile
我正在尝试从上面的链接中抓取描述。 XPath似乎是正确的，但它没有向我返回scrapy shell中的值。 （请参见下面的屏幕截图）。
我尝试了所有方法，例如get()，getall()，extract()，extract_first()，extractall()，但是我得到了一个经验清单。
请帮助我确定错误。谢谢...
答案 0 :(得分：1)
如果禁用JS，您将找不到XPATH。
这是Scrapy加载HTML的方式，它仅加载HTML而不执行任何JS / AJAX
尝试此XPATH
response.xpath("/html/body/app-root/main/app-product/div[1]/app-product-detail/div[2]/div/div[1]/div/div/p//text()").getall()