我有一个很大的.txt文件,我从网站上下载过。它包含大约5500万行。
我需要在R中处理这些数据,并且我试图找出如何将数据输入到R中的数据框。
这是我到目前为止所使用的:
US_Citations_1 <- read.table( "201709_US_Citations_3.txt", header= TRUE, sep="|", as.is=FALSE, na.strings="NA", colClasses=NA, nrows=5000000, skip=0, fill=TRUE, strip.white=TRUE, blank.lines.skip=TRUE, comment.char="", allowEscapes=FALSE, flush=FALSE, stringsAsFactors=TRUE, fileEncoding="", encoding="unknown")
US_Citations_2 <- read.table( "201709_US_Citations_3.txt", header= FALSE, sep="|", as.is=FALSE, na.strings="NA", colClasses=NA, nrows=5000000, skip=5000001, fill=TRUE, strip.white=TRUE, blank.lines.skip=TRUE, comment.char="", allowEscapes=FALSE, flush=FALSE, stringsAsFactors=TRUE, fileEncoding="", encoding="unknown")
我基本上将文件分成较小的segmets(尝试导入整个文件会产生错误)。
所以第一个代码打开了500万行,下一个文件打开了接下来的500万行(nrows = 5000000,skip = 5000001),然后我又生成了11个命令,每个命令生成500万行。
这个想法是,一旦导入了所有11个数据帧,我将使用一个简单的rbind命令将它们全部合并到一个大框架中。
我的问题是我无法加载最后1000万行。即使我将其设置为只导入10行,它似乎也会卡住并无限期地工作。
您可能有其他解决方案吗?谢谢。