Julia导入大量内存不足的csv数据

Question

我想知道Julia是否有一个类似于R中可以处理内存不足数据的Sparklyr的软件包。我的数据是csv格式的11 GB。

我在Julia中安装了HPAT软件包，但我不确定它是否有助于处理大数据。另外，我注意到Julia中有一个Spark包，它是否有任何能够导入本地数据的函数，比如Sparklyr中的spark_read_csv函数？

Answer 1

您可以尝试https://github.com/JuliaComputing/JuliaDB.jl。这个包很新，但仍处于开发阶段，但它能够加载大于内存的CSV数据集。