与名称链接的scrapy策略

时间:2018-03-23 15:38:47

标签: scrapy

我正在努力寻找阅读名称链接的最佳策略(例如.href = / mypage#sectionA) 如果我没有做任何特别的事情,如果我已经访问过该页面,则可以跳过此类链接。如果我检查我的url是否有哈希(#),我可以在产生新请求之前解析结果,但只有当链接指向同一页面上的名称时它才有效。 我该如何管理这种链接?禁用重复检查并可能多次解析页面?

0 个答案:

没有答案