标签: github web-crawler archiving
我需要一个索引页面,它显示了指向所有gitHub存储库的链接。
我认为这就是为什么像Waybackmachine
我认为如果有这样一个排名很高的网站,他们会开始抓取它
开发者网站sais,有一个Api for getting all repos
答案 0 :(得分:4)
警告: GitHub拥有巨大数量的存储库。在设计索引时,您必须考虑到这一点。
我可以想到几个选项: