如何从网站上删除2级网页

Question

我想问你如何使用python +漂亮的汤或Scrapy来剪贴网页，例如，如果有2个级别的页面，简短的说明+到职位详细信息的链接，其中包含职位公告？我需要从职位公告的标题中删除数据，然后更深入地提取完整的描述，然后将该数据添加到数据库或文本文件中？问题出在第二层，那里有完整的描述并获得完整的细节，包括图像链接（如果存在）... 有人这样做吗？

谢谢。

Answer 1

检查：

• https://docs.scrapy.org/en/latest/intro/tutorial.html#following-links
• https://github.com/zseta/scrapy-templates/blob/master/website%20spider%20templates/1fol_pag2scr.py

如果我了解您想要做什么，那么我会保存您需要的... companyName，说明，第二链接等

然后针对每个保存的公司，向secondLink发出请求并保存/设置信息