Github抓取所有javascript文件

时间:2017-01-20 17:28:02

标签: python rest github web-scraping github-api

我需要使用python在github上的所有可用项目中提取所有可用的javascript文件。我在github中查找了一个API,我发现了这个: https://developer.github.com/v3/ 我不知道我必须发送什么样的请求以及如何撰写URL。如果可能的话,我宁愿不依赖于其他第三方API。 请指导我正确的方向,任何帮助将不胜感激!!

1 个答案:

答案 0 :(得分:-1)

要收集文件,可以在python脚本中使用它:

import os 
os.system("curl -o https://github.com/file.js") 

将URL替换为单个文件名,或者在您的情况下将循环中的变量替换为从repo中获取所有文件。您需要为每个org / user / repo / etc

重复此操作

Download remote files using curl

Running shell commands from python