我有一个包含5400万行的文件,读取整个文件很大,它不适合内存。使用R,我想从文件中提取100万行,其中一列的内容等于某个数字。有没有人知道这是否可能,而无需阅读整个文件?所有列都包含整数,如果这有任何不同。
该文件的内容如下:
Date,ProductId,Stock,Price
199501,1,271,5
199501,2,145,50
199501,3,16,42
199501,4,32,45
199501,5,96,62
答案 0 :(得分:7)
您的问题的详细信息尚不清楚,但在许多情况下,如果文件结构合理,则通过sqldf绕行是最快的解决方案。
http://code.google.com/p/sqldf/#Example_13._read.csv.sql_and_read.csv2.sql
如果这没有帮助,你应该通过发布10行的简短样本来提供更多细节,包括做你想要的简单代码,即使它很慢。有人会跳入并优化它,但如果没有样本数据,这是不可能的。