多个python脚本一个文本文件

时间:2015-02-13 12:32:35

标签: python filesystems

我想知道是否可以做到。

我有一个在python中创建的脚本,它从文本文件中取一个随机行,处理它并返回一条修改过的行,我将它插入文件中就可以了。

我的问题是我想扩展脚本,使其成为多线程,是否有可能脚本不能准确地将行写入文本文件,我的意思是脚本运行速度快而且我不会知道文件系统是否会崩溃,有没有人使用过这种文本文件,你会推荐什么而不是文本文件?

如果我将所有数据移动到数据库mysql / sql(无论如何),我会从速度上放松多少?我的意思是读取一个文本文件很快就完成了,如果我连接到数据库并在该过程之后获取数据它,我需要时间,或者如果我在我的电脑上安装一个mysql服务器,它会不会...?

请记住,文件的增长速度非常快。

1 个答案:

答案 0 :(得分:0)

你说的文件有多大?你说它快速增长。将内容放入像postgres这样的db中的好处是预写日志记录。有几个不错的python库可以与db&p进行交互,比如psycopg2用于postgres。您是否需要在将来查询信息,在这种情况下,db可能值得任何轻微的速度损失。

http://en.wikipedia.org/wiki/Write-ahead_logging

http://initd.org/psycopg/