我的目标是使用PRAW在比特币上获取subreddit数据,但似乎限制为1000个subreddit。这只为我提供了前9天的数据。我如何获取更多数据(例如最近的子目录1万或10万)?
此外,如果我使用.search函数仅包含带有“ price”的子reddit,那么我只能获取250个最新的(参见下面的代码)。
我找到了以下代码:https://github.com/eleweek/SearchingReddit/blob/master/download_whole_subreddit.py,但是由于找不到“ from crawler_utils import save_submission”模块而无法使用。
import praw
import csv
myreddit = praw.Reddit(client_id='xxxxx', client_secret='xxxxx',
user_agent='xxxxx')
with open('C:\\testProjectData2.csv','a') as f:
newposts = myreddit.subreddit('Bitcoin')
headers = ['ID', 'Date_utc', 'Upvotes', 'Number of Comments', 'Subreddit name']
datawriter = csv.writer(f)
datawriter.writerow(headers)
for post in newposts.search("price", sort='new'):
data = (post, post.created_utc, post.ups, post.num_comments, post.title)
datawriter.writerow(data)