非常大的.csv文件，

Question

我有大量的数据，大约有2000万行和6列。我试图从这个大的.csv文件中提取数据。 我试过R，但是我收到了错误信息，我使用的是带有4 GB Ram，i5处理器的macbook。 有什么方法可以提取信息， 我试过excel，它只需要100万行。 任何建议或帮助都会有用

文件大于1.3 GB，我想根据参数将此数据库划分为大约2000-3000的集合。我尝试了R，当我使用read.csv时...我试了一会儿但是在10分左右之后我得到R没有回应 -

我想根据第3栏分开这些数据。

SHA PCT实践BNF代码BNF NAME

Answer 1

首先，您必须告诉提取数据是什么意思。如果它是某种聚合函数或者它可以被划分，那么我认为最简单的方法是将巨大的csv文件拆分成许多小文件。

如果您还需要其他东西，请在此处查看：

• 用于在磁盘上存储大数据的包（不是ram）http://ff.r-forge.r-project.org/
• 将点分配给未使用的内存或指向交换文件的包。 https://r-forge.r-project.org/R/?group_id=556
• 对大数据进行并列化http://www.r-bloggers.com/taking-r-to-the-limit-parallelism-and-big-data/
• 此处的讨论很少http://www.mathfinance.cn/handling-large-csv-files-in-R/ http://r.789695.n4.nabble.com/How-to-Read-a-Large-CSV-into-a-Database-with-R-td3043209.html

Answer 2

我会将其转储到SQL数据库（mySQL，postgre，SQLlite，并使用您可以在RODBC包中找到的ODBC驱动程序进行调用（JDBC也可以）。

然后你可以做'SELECT * FROM your_table WHERE column_3 = X;'

祝你好运！

[链接到教程1