迭代推特数据时的JSONDecodeError

时间:2016-04-30 23:19:13

标签: json twitter tweepy

我试图迭代存储在json文件中的twitter数据:

startHandshake()

它打印文件中的第一条推文很好但是当它再次迭代时它给了我一个JSONDecodeError:

fname = 'test.json'

with open(fname, 'r') as f:
    for line in f:
        tweet = json.loads(line)['text']
        print(tweet)

我的JSON文件大小约为650Mb。

要获取Twitter数据,我使用了Twitter API中的 StreamListener

以下是我的JSON文件的一瞥:

JSONDecodeError: Expecting value: line 2 column 1 (char 1)

我该如何解决这个问题?

1 个答案:

答案 0 :(得分:0)

如果您的JSON文件与您发布的文件具有完全相同的结构,则推文之间的空行确实会导致JSONDecodeError。如果出现问题,请在处理之前检查该行是否为空:

In [12]:

with open(fname, 'r') as f:
    for line in f:
        if (not line.strip()):
            continue
        tweet = json.loads(line)['text']
        print(tweet)

希望它有所帮助。