阅读>来自Django服务器的1 GB CSV文件,显示在模板

时间:2017-08-07 12:20:21

标签: javascript django csv papaparse

我目前在我的服务器上有一堆巨大的CSV文件(其中一个超过3 GB),我需要解析并在模板上显示。由于这看起来像JavaScript的东西,我调查了PapaParse,但似乎我必须将File对象传递给parse PapaParse函数。该File对象的Mozilla link表示当用户上传某个文件时,或者从HTML5 Canvas元素创建这些类型的对象。但我不希望这样。该文件已经在我的服务器上,我只需要通读它并以表格格式显示内容。

我尝试了简单地从Django解析整个文件的手动方法,并且可能将其传递给模板中的AJAX回调,但浏览器冻结了,我不得不重新启动服务器。

2 个答案:

答案 0 :(得分:1)

我的方法是将CSV文件加载到数据库中,然后使用分页视图执行繁重的工作(https://docs.djangoproject.com/en/1.11/topics/pagination/

答案 1 :(得分:0)

您应该通过generators读取csv文件以进行内存优化。

您可以通过this link

进入