我有一个Python脚本,它必须可靠并且全天候工作,最好永远不会失败。它从第三方服务接收数据,然后处理它,然后保存到数据库中。它可能一次收到大量数据,也可能不会收到。
为了节省可靠性,它会先将数据保存到不同的文件中,每当收到数据时都会保存一个新文件。
我想知道,每次收到数据以加快速度时我都应该创建一个新线程吗?或者只创建一个新线程,我将所有数据都写入文件? 或者用于处理数据的新线程(和)将其保存到db?
我想到了这一点,因为当数据忙于处理以前出现的其他部分数据或将数据保存到数据库中时,数据就会出现。
我怎么知道我是否真的需要那个?