大型开源存储库

Question

对于我的研究工作，我需要一个大型的开源项目存储库（大约1000个或更多，编程语言无关紧要，但很好的组合将很好）。我想过从Github / SourceForge / Codeplex下载项目，但我找不到合适的API来做。

有谁知道是否有可能从上述网站下载项目（比如，Twitter如何让我们从公共时间线上抓取推文）？或者我可以在其他任何地方获得良好的开源项目组合？

Answer 1

几乎所有开源存储库都允许通过适当的源代码控制提供程序进行远程访问 - 因此从Github下载所有项目的最简单方法是使用git。即使没有API，您需要做的就是为每个仓库找到正确的URL，并且抓取"explore"页面之类的内容应该很容易。