我在Scrapy上遇到了一些麻烦-我的任务是从众筹网站(我选择kickstarter.com)获取数据。现在,我首先抓取一个页面(从here开始),然后从中检索项目的链接,然后抓取到这些链接。出于调试目的,我将这些链接响应另存为html文件。这是我的代码:
church_query_object = ChurchModel.query.filter_by(ChurchModel.church_id == self.church_id).first()
# Then you get name from church_query_object
church_name = church_query_object.name
不幸的是,保存的数据不完整-例如in this project,这是当我使用浏览器观看数据时的样子: 这正是我下载的网页中缺少的部分(页面此部分下面的所有内容都存在)。
我该怎么做才能拥有完整的数据?谢谢