为什么我无法使用python请求来请求某个网页

时间:2019-06-01 11:25:37

标签: python http web-scraping python-requests

我无法进入this webpage。 当我尝试使用requests.get(url)时,它根本没有进展,并且没有HTTP错误,就像尝试一遍又一遍一样。

我尝试使用会话和标头,但没有一个对我有用。

import bs4
from bs4 import BeautifulSoup as bs
import requests


url="https://www.gogoanime1.com/watch/hangyakusei-million-arthur-2nd-season/episode/episode-1"
epn=int(input("enter which episode link is it?: "))
newses=requests.Session()
newses.headers.update({'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36'})
ssn=newses.get(url)
page=ssn.text
print()

soup=bs(page,'html.parser')
a=soup.find('div',{'class':'vmn-buttons'})
links=a.find_all('a')

for link in links:
    print(link)
    if link.text=="Download":
        print("found")
        dl=link['href']
        break
print(dl)

bom=newses.get(dl)
print(bom.text)

我至少想要一个响应,但是它整天都挂在那里,我如何才能像真实用户一样访问该页面并抓取其内容?

1 个答案:

答案 0 :(得分:0)

我没有注意到它实际上是文件而不是要解析的网页。下载文件花费了更多时间。