使用BeautifulSoup和python进行网络报废

Question

我打算从这个网站打印出所有IP地址https://hidemy.name/es/proxy-list/#list

但没有任何反应

python 2.7中的代码：

import requests
from bs4 import BeautifulSoup

def trade_spider(max_pages): #go throw max pages of the website starting from 1
    page = 0
    value = 0
    print('proxies')
    while page <= 18:
        value += 64
        url = 'https://hidemy.name/es/proxy-list/?start=' + str(value) + '#list' #add page number to link
        source_code = requests.get(url) #get website html code
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text, 'html.parser')

        for link in soup.findAll('td',{'class': 'tdl'}): #get the link of this class
            proxy = link.string #get the string of the link
            print(proxy)

        page += 1

trade_spider(1)

Answer 1

您没有看到任何输出，因为汤中没有匹配的元素。 我试图将所有变量转储到输出流，并发现该网站阻止了抓取工具。尝试打印plain_text变量。它可能只包含警告信息，如：

  

看来你是机器人。如果是这样，请使用单独的API接口。它   便宜又易于使用。