Question

我在加速Pywikibot方面遇到了问题。我在StackOverflow上看过相关的问题，但它们只是部分适用于我的问题：

我尽可能地设置throttle=False，但机器人仍然很慢。

我无法使用提议的here之类的PreloadingPageGenerator，因为我没有使用Bot来访问维基百科，而是使用维基数据。就我而言，请求看起来像这样

from pywikibot.data import api

request_parameters = {
     'action': 'wbsearchentities',
     'format': 'json',
     'language': language,
     'type': 'item',
     'search': name,
     'throttle': False
}
request = api.Request(site=self.wikidata_site, use_get=True, **request_parameters)
response = request.submit()

我现在尝试使用multiprocessing，因此可以立即向API发送多个请求，从而无需等待响应，然后才能继续执行下一个请求，如下所示

while not queue.empty():  # Queue holding data for requests
    job_data = [queue.get() for i in range(number_of_processes)]

    jobs = [
        multiprocessing.Process(
                target=search_for_entity,
                args=(name, language)
            )
        for name, language in job_data
    ]

    for job in jobs:
        job.start()

    for job in jobs:
        job.join()

但是当我运行该程序时，它甚至没有完成第一个请求，因为它被卡住了。我跟踪了这个错误pywikibot/data/api.py:1500 submit()：

 rawdata = http.request(
                site=self.site, uri=uri, method='GET' if use_get else 'POST',
                body=body, headers=headers)

通过pywikibot/comms/http.py:361 fetch()：

request = _enqueue(uri, method, body, headers, **kwargs)
request._join()

到pywikibot/comms/threadedhttp.py:359 _join()，获得的锁似乎永远不会被释放

def _join(self):
    """Block until response has arrived."""
    self.lock.acquire(True)

我现在的问题是：这是pywikibot的错误吗？我是否以错误的方式将multiprocessing应用于此问题？在我的具体情况下，任何其他解决方案是否加快了pywikibot？

Answer 1

这个代码部分已经过时了，你所展示的 threadedhttp 模块在几年前就被删除了。我建议更新你的 Pywikibot。

使用多处理加速Pywikibot与维基数据时的死锁？

1 个答案: