标签： python web-scraping web-crawler
我正在尝试从yelp.com获取所有评论的列表，我尝试了yelp API，但它仅返回3条评论。 因此，我在python中遇到了request.get（）来下载包括评论的整个网页内容，代码运行正常。但是我想知道这样做是否合法？
我尝试了爬网和爬网程序，但发现下载网页并在本地提取数据更简单
import requests response = requests.get(input_url)
我正在将响应内容写入文件以在本地提取数据