如何实现lockfile命令的功能

时间:2016-08-19 13:22:00

标签: python cluster-computing

我正在尝试为在集群上运行的软件实现基于文件系统的锁。底层共享文件系统使用DRBD实现,因此可以保证同步性。我目前的实现如下:

# check the lock file                                                                                                 
if os.path.isfile(lockfile):                                                                                       
    if time.time() - os.path.getmtime(lockfile) > 3600:                                                             
        logInfo('lock is older than 3600s, removing it and going on collecting result.')                           
        os.remove(lockfile)                                                                                        
    else:                                                                                                             
        logInfo('Previous action is still on-going, please wait until it\'s finished or timeout.')
        sys.exit(1)

# create the lock file                                                                                                
open(lockfile, 'w').close();

显然,当群集中不同计算机上运行的脚本的多个实例可能一致认为系统已解锁,创建锁定文件并执行需要互斥的操作时,可能会出现这种情况。

总而言之,我需要一个基于文件系统的锁定工具,锁定检查和创建一起形成一个原子操作。

使用lockfile命令在shell脚本中可以实现相同的功能。

1 个答案:

答案 0 :(得分:1)

使用os.open可以实现一个解决方案,它封装了open系统调用:

import os,errno
def lockfile(filename):
    try:
        os.close(os.open(filename, os.O_CREAT | os.O_EXCL | os.O_WRONLY));
    except OSError as e:
        if e.errno == errno.EEXIST:  # System is already locked as the file already exists.
            return False
        else:  # Something unexpected went wrong so reraise the exception.
            raise
    return True  # System has successfully been locked by the function

注意os.open()的第二个参数。根据{{​​3}},当使用标志O_EXCL和O_CREAT,并且路径名已经存在时,open()将失败,或者更确切地说,将引发带有errno EEXIST的OSError,在我们的例子中意味着系统已被锁定。但是,当路径指向不存在的文件时,将立即创建该文件,而不是为文件系统的其他用户留下时间框架以同时执行相同的步骤。 根据{{​​3}},所描述的技术可以被认为是与平台无关的。