标签: scrapy amazon review
刮刮亚马逊评论时,即使产品有40,000条,我也总是以5,000条评论碰壁。有什么办法可以越过这个障碍并刮得更多?
答案 0 :(得分:1)
要直接从搜索结果中抓取时要获得更多页面,可以使用过滤器将搜索分为较小的部分。例如,可能会先搜索具有星级的评论,然后再搜索一颗星,然后搜索两颗,依此类推。这当然不会保证所有结果,但会增加您的机会。一些过滤器可能更多,但难以实现,例如标签或用户名。
或者,直接通过他们的API访问数据和/或通过他们的Amazon Associates程序成为会员。