如何制作收集特定国家/地区所有公共页面的Facebook页面抓取工具？

Question

我正在尝试制作一个Facebook页面抓取工具，用于收集特定国家/地区的所有公共页面。 特别是拥有超过1000个粉丝的网页。 如何最好地管理Facebook API请求限制？ 感谢名单

Answer 1

我建议你看一下Apache Nutch项目（http://nutch.apache.org/about.html）。指定一个URL前缀应该没有问题，哪些页面应该被编入索引。