我正在构建一个Django Web应用程序,该应用程序本质上将为用户提供静态数据。静态是指管理员可以上传新数据集,但用户不会输入任何数据。实际上,一旦上传了数据,将根据用户的请求将其设为只读。
鉴于这些是非常大的数据集(超过200k行),我认为SQL是存储数据的最佳方法-这样可以避免将大型数据集读取到内存中(因为您必须使用pickle或json?) 。这具有使用Django模型访问数据的额外好处。
但是,我不确定执行此操作的最佳方法,或者是否有替代SQL的更好方法。我目前有一个管理页面,该页面允许您上传.xlsx文件,然后将其解析并逐行添加为模型条目。永远需要花费30分钟(10万行需要30分钟)。也许我应该在Django之外创建一个全新的数据库,然后以某种方式导入该数据库,但是我找不到太多关于如何/应该完成此操作的文档。任何想法将不胜感激!在此先感谢您的智慧。
答案 0 :(得分:1)
您可以尝试使用.csv
而不是.xlsx
的文件格式。 Python有一些库,可让您轻松使用.csv
格式(逗号分隔值)写入sql数据库。 This的答案可能会提供进一步的帮助。希望您能找到所需的内容并编写愉快的代码!