这是共享动态ConfigObj文件的一种不错的方式吗?

时间:2012-01-18 19:26:18

标签: python python-multithreading configobj

我有几个python进程监视和操作物理IO。例如。如果电流过高则关闭电机。他们需要让对方知道他们为什么做了什么,所以我认为共享文件可能是一个简单的解决方案。各种进程可以写入此文件,其他进程需要知道何时写入。我已经在使用ConfigObj进行静态配置文件,所以我想我试试动态文件。写入不应经常发生,也许最多每秒一次,并且通常慢。我想出了这个似乎有用的例子。

import copy
import os.path
import threading
import time
from configobj import ConfigObj

class config_watcher(threading.Thread):
    def __init__(self,watched_items):
        self.watched_items = watched_items
        self.config = self.watched_items['config'] 
        super(config_watcher,self).__init__()
    def run(self):
        self.reload_config()
        while 1:
            # First look for external changes
            if self.watched_items['mtime'] <> os.path.getmtime(self.config.filename):
                print "external chage detected"
                self.reload_config()
            # Now look for external changes
            if self.watched_items['config'] <> self.watched_items['copy']: 
                print "internal chage detected"
                self.save_config()
            time.sleep(.1)
    def reload_config(self):
        try:
            self.config.reload()
        except Exception:
            pass
        self.watched_items['mtime'] = os.path.getmtime(self.config.filename)
        self.watched_items['copy'] = copy.deepcopy(self.config)
    def save_config(self):
        self.config.write()
        self.reload_config()

if __name__ == '__main__':
    from random import randint
    config_file = 'test.txt'
    openfile = open(config_file, 'w')
    openfile.write('x = 0 # comment\r\n')
    openfile.close()
    config = ConfigObj(config_file)
    watched_config = {'config':config} #Dictionary to pass to thread
    config_watcher = config_watcher(watched_config) #Start thread
    config_watcher.setDaemon(True) # and make it a daemon so we can exit on ctrl-c
    config_watcher.start()
    time.sleep(.1) # Let the daemon get going
    while 1:
        newval = randint(0,9)
        print "is:{0} was:{1}, altering dictionary".format(newval,config['x'])
        config['x'] = newval
        time.sleep(1)
        openfile = open(config.filename, 'w')
        openfile.write('x = {0} # external write\r\n'.format(randint(10,19)))
        openfile.close()
        time.sleep(1)
        print "is {1} was:{0}".format(newval,config['x'])
        time.sleep(1)

我的问题是,是否有更好/更容易/更清洁的方法?

2 个答案:

答案 0 :(得分:2)

如果您有多个进程尝试监视和更新相同的文件,则您的方法容易受到竞争条件的影响。

我倾向于使用SQLite,制作带时间戳的“日志”表来记录消息。 “monitor”线程只能检查最大时间戳或整数键值。有些人会说这是过度的,我知道,但我确信,一旦你在系统中有一个共享数据库,你会发现其他一些聪明的用途。

作为奖励,您可以获得审核;变更历史可以记录在表格中。

答案 1 :(得分:1)

对于您描述的用例,即:多进程隔离和通信,您应该认真考虑 Redis 作为SQL RDBMS的替代方案。

引用Redis Labs首席执行官Ofer Bengal,

  

&#34; Redis是一个关键值数据库和一个数据结构引擎&#34;

简而言之,

  • 由于其通用方法数据管理命令,它非常灵活。
  • 它支持交易。
  • 轻巧而快速。
  • 如有必要,您可以将其配置为只读(磁盘上没有写入)。
  • 它稳定且可用于多个计算平台。

有关Redis交易的更多信息,您可以查看: