无法使用wget下载git hub搜索结果

Question

我正在尝试使用wget将github代码搜索结果下载到日志文件中。

我一直在使用以下命令：

    wget -o logfile -r -l 2 https://github.com/search?l=Dockerfile&q=openjdk&type=Code&utf8=%E2%9C%93

但是，我会收到一个说明以下内容的robots.txt文件：

＃如果您想抓取GitHub，请通过support@github.com与我们联系。

＃我们还提供了广泛的API：https://developer.github.com/

我是否需要github的某种许可？ 有人可以帮忙吗？

Answer 1

我认为这个消息非常清楚：你正在尝试抓取GitHub网站而他们不喜欢这样。

他们建议您使用GraphQL API。

v3 API仍然是REST，因此您可以执行以下操作：

wget --output-document search-results.json --user <YOUR_GITHUB_ID> \
"https://api.github.com/search/code?q=openjdk+language:Dockerfile"