Question

我试图将指定维基百科页面中的所有外发链接发送到其他维基百科文章及其各自的类别。

不知何故，许多页面都会返回w / o类别，即使它们明显属于某些页面。它甚至似乎不是系统的，即没有类别返回的页面并不总是相同。

以下示例尽可能少：

# -*- coding: utf-8 -*-
import urllib.request
import urllib.parse
import json

def link_request(more_parameters={"continue": ""}):
   parameters = {"format": "json",
                 "action": "query",
                 "generator": "links",
                 "gpllimit": "max",
                 "gplnamespace": "0",
                 "prop": "categories",
                 "cllimit": "max",
                 "titles": urllib.parse.quote(start_page.encode("utf8"))}
   parameters.update(more_parameters)

   queryString = "&".join("%s=%s" % (k, v) for k, v in parameters.items())

   # This ensures that redirects are followed automatically, documented here:
   # http://www.mediawiki.org/wiki/API:Query#Resolving_redirects
   queryString = queryString+"&redirects"

   url = "http://%s.wikipedia.org/w/api.php?%s" % (wikipedia_language, queryString)
   print(url)

   #get json data from wikimedia API and make a dictionary out of it:
   request = urllib.request.urlopen(url)
   encoding = request.headers.get_content_charset()
   jsonData = request.read().decode(encoding)
   data = json.loads(jsonData)

   return data

def get_link_data():
   data=link_request()

   query_result=data['query']['pages']

   while 'continue' in data.keys():
      continue_dict=dict()
      for key in list(data['continue'].keys()):
         if key == 'continue':
            continue_dict.update({key: data['continue'][key]})
         else:
            val= "|".join([urllib.parse.quote(e) for e in data['continue'][key].split('|')])
            continue_dict.update({key: val})
      data=link_request(continue_dict)
      query_result.update(data['query']['pages'])

   print(json.dumps(query_result, indent=4))

start_page="Albert Einstein"
wikipedia_language="en"
get_link_data()

如果有人想知道：继续的内容在这里解释：http://www.mediawiki.org/wiki/API:Query#Continuing_queries

Answer 1

问题在于，由于延续的工作方式，您不能仅仅update()结果并希望它能够正常工作。

例如，假设您有以下带有类别的链接页面：

第1页
- 类别1
第2页
- 类别2A
- 类别2B
第3页
- 类别3

现在，如果您将gpllimit和cllimit都设置为2（即每个响应最多包含两个页面，最多包含两个类别），结果将是三个继续响应，如这样：

回复1
- 第1页
  - 类别1
- 第2页
  - 类别2A
回复2
- 第1页
- 第2页
  - 类别2B
回复3
- 第3页
  - 类别3

如果您要使用update()来合并这些回复，则回复2的结果将覆盖来自回复1的结果：

第1页
第2页
- 类别2B
第3页
- 类别3

因此，您需要做的是使用更智能的方法来组合响应。或者甚至更好，使用one of the existing libraries to access the API。

为什么这个Wikipedia mediawiki api请求不会将类别返回到所有链接？

1 个答案: