我想知道是否可以做到。
我有一个在python中创建的脚本,它从文本文件中取一个随机行,处理它并返回一条修改过的行,我将它插入文件中就可以了。
我的问题是我想扩展脚本,使其成为多线程,是否有可能脚本不能准确地将行写入文本文件,我的意思是脚本运行速度快而且我不会知道文件系统是否会崩溃,有没有人使用过这种文本文件,你会推荐什么而不是文本文件?
如果我将所有数据移动到数据库mysql / sql(无论如何),我会从速度上放松多少?我的意思是读取一个文本文件很快就完成了,如果我连接到数据库并在该过程之后获取数据它,我需要时间,或者如果我在我的电脑上安装一个mysql服务器,它会不会...?
请记住,文件的增长速度非常快。
答案 0 :(得分:0)
你说的文件有多大?你说它快速增长。将内容放入像postgres这样的db中的好处是预写日志记录。有几个不错的python库可以与db&p进行交互,比如psycopg2用于postgres。您是否需要在将来查询信息,在这种情况下,db可能值得任何轻微的速度损失。