如何使用PRAW提取超过1k的Subreddit? (似乎是1k)

时间:2019-11-27 14:32:32

标签: python reddit praw

我的目标是使用PRAW在比特币上获取subreddit数据,但似乎限制为1000个subreddit。这只为我提供了前9天的数据。我如何获取更多数据(例如最近的子目录1万或10万)?

此外,如果我使用.search函数仅包含带有“ price”的子reddit,那么我只能获取250个最新的(参见下面的代码)。

我找到了以下代码:https://github.com/eleweek/SearchingReddit/blob/master/download_whole_subreddit.py,但是由于找不到“ from crawler_utils import save_submission”模块而无法使用。

import praw
import csv

myreddit = praw.Reddit(client_id='xxxxx', client_secret='xxxxx',
                       user_agent='xxxxx')


with open('C:\\testProjectData2.csv','a') as f:
    newposts = myreddit.subreddit('Bitcoin')

    headers = ['ID', 'Date_utc', 'Upvotes', 'Number of Comments', 'Subreddit name']
    datawriter = csv.writer(f)

    datawriter.writerow(headers)

    for post in newposts.search("price", sort='new'):
        data = (post, post.created_utc, post.ups, post.num_comments, post.title)


        datawriter.writerow(data)

0 个答案:

没有答案