Scrapy获取部分数据

时间:2018-11-06 22:22:57

标签: python web-scraping beautifulsoup scrapy web-crawler

我在Scrapy上遇到了一些麻烦-我的任务是从众筹网站(我选择kickstarter.com)获取数据。现在,我首先抓取一个页面(从here开始),然后从中检索项目的链接,然后抓取到这些链接。出于调试目的,我将这些链接响应另存为html文件。这是我的代码:

church_query_object = ChurchModel.query.filter_by(ChurchModel.church_id == self.church_id).first()
# Then you get name from church_query_object
church_name = church_query_object.name

不幸的是,保存的数据不完整-例如in this project,这是当我使用浏览器观看数据时的样子: enter image description here 这正是我下载的网页中缺少的部分(页面此部分下面的所有内容都存在)。

我该怎么做才能拥有完整的数据?谢谢

0 个答案:

没有答案