Question

我一直在观看有关如何制作网络浏览器的3个关于thenewboston的视频。它们似乎已经过时，而且链接不存在。如果有人可以填写本教程的第一部分，我将感激不尽。这是我来的。我尝试过不同的网站，但无济于事。

import requests
from bs4 import BeautifulSoup

def my_spider(max_pages):
    page = 1
    while page <= max_pages:
        url = """Here I tried different websites""" + str(page)
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text)
        for link in soup.findALL("a", {"class" : "item-name"}):
            href = """example site like following: https://example.com""" + link.get("href")
            print(href)
        page += 1

print(my_spider(2))

使用此代码我会想要抓取到网站以获取标题链接或类似内容。

仅供参考，这是视频。 https://www.youtube.com/watch?v=sVNJOiTBi_8&list=PL6gx4Cwl9DGAcbMi1sH6oAMk4JHw91mC_&index=26

这是教程25-27

提前致谢！

Answer 1

有python 3到web scrape的库，但没有一个像python 2库Scrapy那样受欢迎，

一些python 3 Web Scrapers / Crawler可用： 1-庞特 2- Pholcidae 3- pyburrow

我没有使用任何我自己，但你在github检查他们的网站或源代码，以便更好地了解你如何使用它们

如何使用Python 3构建Web爬网程序？

1 个答案: