Question

我遇到了以下问题：Get the first link in a Wikipedia article not inside parentheses我试图获得相同的结果。

但是，我引用的问题中特权的方法是解析整个维基百科页面以获得所需的链接。

我更喜欢使用wikipedia API，但我遇到了一个重大问题：我不知道如何（或者甚至可能）通过页面中的外观来订购链接。

我现在的要求如下：

http://en.wikipedia.org/w/api.php?action=query&titles=United_States&prop=links&pllimit=max

Answer 1

好吧，似乎无法使用API执行此操作。所以我用Python和BeautifulSoup编写了一个解析器。以下是实施：

import urllib2
from bs4 import BeautifulSoup

template = "https://wikipedia.org"    

def isValid(ref,paragraph):
   if not ref or "#" in ref or "//" in ref or ":" in ref:
      return False
   if "/wiki/" not in ref:
      return False
   if ref not in paragraph:
      return False
   prefix = paragraph.split(ref,1)[0]
   if prefix.count("(")!=prefix.count(")"):
      return False
   return True

def validateTag(tag):
   name = tag.name
   isParagraph = name == "p"
   isList = name == "ul"
   return isParagraph or isList

def getFirstLink(wikipage):
   req = urllib2.Request(template+wikipage, headers={'User-Agent' : "Magic Browser"})
   page = urllib2.urlopen(req)
   data = page.read()
   soup = BeautifulSoup(data)
   soup = soup.find(id="mw-content-text")
   for paragraph in soup.find_all(validateTag, recursive=False):
      for link in paragraph.find_all("a"):
         ref = link.get("href")
         if isValid(str(ref),str(paragraph)):
            return link
   return False

如果您想了解有关此项目的更多信息，请参阅包含完整源代码的github页面：https://github.com/ChrisJamesC/wikipediaPhilosophy

使用Wikipedia api获取维基百科文章的第一个链接

1 个答案: