urllib.request.urlopen无效

时间:2018-02-18 20:12:12

标签: python-3.x web-scraping urllib

我正在尝试使用bs4从网页上获取一些数据,但是我在打开链接时遇到了麻烦。所以这是我正在使用的代码:

    from bs4 import BeautifulSoup as soup
    from urllib.request import urlopen

    my_url = "https://www.transfermarkt.com/wettbewerbe/europa/"
    client = urlopen(my_url)
    page_html = client.read()
    client.close()

奇怪的是,只有这个特定的链接才行。其他人工作得很好。那么这个链接有什么特别之处呢?我该怎么打开它?

1 个答案:

答案 0 :(得分:2)

问题来自body { margin: 0; } .container { display: flex; flex-direction: column; flex-wrap: wrap; height: 100vh; } .child { height: 16.667vh; } 。使用User-Agent设置/更改标题。

urllib.request.Request