我如何服从robots.txt

Question

我正在创建一个偶尔抓取网站的应用，我希望它能够服从/尊重被抓取网站的robots.txt。我该如何开始呢？有什么想法怎么做？

提前致谢。

Answer 1

This article详细解释了这一点。