目前,我有几个50 GB的SAS数据文件(sas7bdat
),我想将以前的SAS代码转换为R或Python等开源工具。最大的问题是如何处理这些巨大的文件...我试图将一个50 GB的文件导出到CSV
文件中,然后在R中使用fread
来加载它。但是,它在文件加载期间被粉碎。所以我想知道处理这个问题的最佳方法是什么?提前致谢!
答案 0 :(得分:2)
首先要考虑的一些事项:
但是一个方便的解决方案是将Python与 PySpark (或R与SparkR一起使用,但前者在目前更成熟)中使用: