我每天都在出售分类广告网站。 为了提高效率,我认为进行增量抓取可以节省时间,但问题是URL可能相同,但是价格已经改变。 这是我的算法:
Check existing URL
Content is still online and it is the same price - do not do anything
Content is still online and the price changes - Rescrape content
在这种情况下,我该怎么办? 进行增量刮取所增加的复杂性真的值得吗?