我正在尝试使用imdbpy模块为python下载近25 000部电影的情节。为了加快速度，我正在使用Multiprocessing模块中的Pool功能。但是，在将近100个请求之后，会发生503错误，并显示以下消息：服务暂时不可用。 10-15分钟后，我可以再次处理，但在大约20次请求后再次发生相同的错误。
我知道它可能是来自api的一个简单的阻止，以防止过多的呼叫但是我无法找到有关网络上每个时间单元的最大请求数的任何信息。
您是否知道如何在不关闭的情况下处理如此多的电话？而且，你知道我在哪里可以找到imdb api的文档吗？
最佳
答案 0 :(得分：2)
请不要这样做。
IMDb的terms of service禁止刮痧，IMDbPY从未打算用于大规模搜索网站：事实上，它明确地设计用于获取单个电影。时间。
理论上，IMDbPY可以管理他们分发的plain text data files，但遗憾的是他们最近changed both the format和数据的内容。
IMDb没有我所知道的API;如果您必须管理如此庞大的数据部分，则必须get a licence。