Question

我正在尝试使用rwteet库中的功能parse_stream()函数来解析大型JSON文件。长JSON对象失败。

当此JSON对象的大小很大（200MB-1GB）时，往往会产生错误。我的流功能看起来像这样。

    stream_tweets(
        "#google,#apple",
        timeout = 60*60*6, #six hours
        file_name = json_filename,
        dir= "./raw_tweets/"
      )

    djt <- parse_stream(json_filename)

我没有启用parse = TRUE参数，因为在documentation中它不建议在大型JSON对象中使用。无论如何，我也尝试使用parse = TRUE进行流传输，并且在parse_stream()也失败了。我得到的错误是以下错误：

Error: parse error: unallowed token at this point in JSON text
      ELDkx4-i7ysCAR_.mp4?tag=10"},,{"bitrate":2176000,"content_ty
                 (right here) ------^

我认为这是两个花括号之间的双重逗号。我使用 ctrl + f 字符串ELDkx4-i7ysCAR_.mp4?tag=10"}在Atom上进行了搜索，唯一的结果是没有,,。

为什么我遇到此解析错误，有人遇到了samme问题并以某种方式解决了吗？

Answer 1

我认为这是在流中出现连接错误时发生的。我认为当它再次连接json

大JSON对象（rtweet）解析失败

1 个答案: