标签: r json bigdata logfile
我正在处理一个较大的JSON Lines文件(80 GB),并且希望在前1000行中进行流式传输以检查数据结构。处理此数据集的100行样本文件的方法是使用jsonlite的stream_in函数。
我已经为80GB的文件尝试了以下代码,但是它不起作用:
data <- stream_in(con=file("logfiles-data")[1:1000])
我该如何解决?
谢谢!