Question

在Big Query上的Github Archive中缺少数据？

使用BigQuery's tables from the Github Archive并对typelevel/cats repo的拉取请求运行查询，2016年1月1日之前没有条目，尽管实际的回购显示活动始于2015年1月28日

Link to github repo showing earlier pull requests

查询如下。想要检查一下，看看是不是我的错误或误解，或者是否有一些只在BQ表中部分可用的回购。

SELECT 
  DATE(created_at) AS date, repo.name, count(*) AS num_PR
FROM
  (TABLE_DATE_RANGE([githubarchive:day.],
     TIMESTAMP('2014-09-26'),
     TIMESTAMP('2016-09-26')
  ))
WHERE
  type = 'PullRequestEvent'
  AND JSON_EXTRACT(payload, '$.action') = '\"opened\"'
  AND repo.name IN ('typelevel/cats')
GROUP BY date, repo.name
ORDER BY date DESC

Answer 1

这个回购改变了名称，虽然id继续相同：

SELECT repo.name, MIN(created_at) since, MAX(created_at) until
FROM (TABLE_DATE_RANGE([githubarchive:day.],
       TIMESTAMP('2015-01-01'),
       TIMESTAMP('2016-10-01')
    ))
WHERE repo.id = 29986727
GROUP BY 1
ORDER BY 1


repo_name       since                   until    
non/cats        2015-01-28 20:26:49     2016-01-30 20:30:41      
typelevel/cats  2016-01-30 20:32:30     2016-09-30 16:47:03

大查询中Github Archive中缺少数据？

1 个答案: