如何从Python网站获取表值

时间:2018-03-01 00:14:17

标签: python python-2.7 web-scraping

我正在使用python脚本从网站(http://www.opensiteexplorer.org/)或(https://beswick.net/api-code/state-of-digital-example.php)或(https://smallseotools.com/domain-authority-checker/)获取特定文字 我想获得所有结果值,如" Page Authority"和"域名管理局"并过滤掉它们。 我使用python2.7和BeautifulSoup来提取数据。

我正在使用此代码:

def parse_url()
url = "https://beswick.net/api-code/state-of-digital-example.php"
domain = 'http://www.google.com'
mozID=" "
mozSEC=" "
def parse_url():
    r = requests.post(url, {'moz-member':mozID,'moz-secret': mozSEC,   'url_form': domain, 'Check Metrics': 'submit'})
    soup = BeautifulSoup(r.content,"lxml")
    for table in soup.find_all('table'):
    print table.text
parse_url()

def PageDomainAuthority():
        url = "https://smallseotools.com/domain-authority-checker/"
        domain = 'www.google.com' 
        r = requests.post(url, {'urls': domain, 'check': 'submit'})
        soup = BeautifulSoup(r.content,"lxml")
        for p in soup.find_all("div",{"class":"col-sm-12 noP"}):
            print(p.text)
PageDomainAuthority()

这是输出(我只能得到标题):

Web Page
DA
PA
Moz Rank
IP Address
IP Location

我怎样才能获得这些值?

1 个答案:

答案 0 :(得分:0)

您将无法使用您尝试使用的方法来获取Moz域授权,页面授权和其他值。要获得这些值,您需要使用Moz提供的Mozscape API。您还可以引用Java代码来获取Moz Domain Authority中的GitHub和其他指标。您应该能够遵循类似的步骤,并使用Python来获取Moz域指标。