如何在特定日期通过NY Times API访问每篇文章?

时间:2019-04-05 18:56:31

标签: json api web-scraping

我已经访问了NYT API。

我最初使用了http呼叫:https://api.nytimes.com/svc/search/v2/articlesearch.json?fq=source:("The New York Times")AND pub_date:("2019-04-04")&api-key=<MY KEY HERE>

这使我在此部分得到一个json:

"meta": {
      "hits": 176,
      "offset": 0,
      "time": 8
    }

然后我通过以下呼叫循环浏览每个匹配或页面:https://api.nytimes.com/svc/search/v2/articlesearch.json?fq=source:("The New York Times")AND pub_date:("2019-04-04") AND page=<EACH NUMBER> &api-key=<MY KEY HERE>

但是,我本该获得150篇以上的文章时,才可能获得70篇文章。我需要获取所有文章并需要一些帮助。我打错电话了吗?请告知。

1 个答案:

答案 0 :(得分:0)

如果将API调用更改为以下内容,则将起作用:

articlesearch.json?fq=source:"The New York Times"&sort=newest&begin_date=20190404&end_date=20190404&page=0
...
articlesearch.json?fq=source:"The New York Times"&sort=newest&begin_date=20190404&end_date=20190404&page=21