Python脚本在3个进程之间进行写(+锁)/读取文件

时间:2019-05-17 03:01:03

标签: python

我是python编程的新手。我需要编写一个脚本,该脚本将由3个新创建的进程在不同时间但非常紧密地执行。任何时候资源都需要检查文件是否被锁定,因为执行python脚本的第一个过程将执行命令,并锁定文件以在其中写入命令结果。 而其他两个进程将等待文件被解锁以便读取结果ID并执行与第一个不同的命令。

我如何在python中做到这一点? 谢谢

2 个答案:

答案 0 :(得分:2)

您可以使用:

os.open("lockfile", os.O_CREAT | os.O_EXCL)

创建代表锁的文件。以这种方式使用open,如果文件已经存在,则调用将失败,并且可以确保如果创建了文件并且调用成功,则其他进程也无法创建该文件。因此,这为您提供了一个由该文件表示的锁定机制。成功创建文件的过程意味着您已获得锁定。要放弃锁定,请删除文件。

其他进程可以检查文件是否存在,以知道某个进程具有锁定。如果该文件不存在,则没有进程具有该锁。听起来您可能要让进程监视这种情况,然后继续进行操作,因为它已经放弃了锁定,因此知道写入过程已完成写入。

请注意,此锁定文件可以是您实际要写入的文件,但不是必须的。您可以使用一个单独的文件来处理锁定,并且获得锁定的进程可以知道它可以安全地写入一个或多个其他文件,而无需其他进程也尝试写入这些文件。

答案 1 :(得分:2)

如果我没有误会,可以通过使用Lock来获得写访问权限,使用Semaphore来通知那些未能获得写锁的进程想要执行的任务来完成此任务。读取文件,最后读取Barrier以重新调整流程。 一个例子:

import multiprocessing as mp
import time
from random import randint


def fun(lock_w, sem_r, barrier, task, filename):
  me = mp.current_process()
  for i in range(3):
    time.sleep(randint(1, 4))
    if(lock_w.acquire(block=False)):
      print(me.pid, "write access")
      task()
      sem_r.release()
      sem_r.release()
    else:
      sem_r.acquire()
      print(me.pid, "read access")
      task()
    if barrier.wait() == 0:
      print(me.pid, "releasing Lock")
      lock_w.release()

def task1():
  print("\tPerform Task 1")

def task2():
  print("\tPerform Task 2")

def task3():
  print("\tPerform Task 3")

lock_w = mp.Lock()
sem_r = mp.Semaphore(0)
bar = mp.Barrier(3)
t1 = mp.Process(target=fun, args=(lock_w, sem_r, bar, task1, "foo.txt", ))
t2 = mp.Process(target=fun, args=(lock_w, sem_r, bar, task2, "foo.txt", ))
t3 = mp.Process(target=fun, args=(lock_w, sem_r, bar, task3, "foo.txt", ))
t1.start()
t2.start()
t3.start()
t1.join()
t2.join()
t3.join()

putput示例:

585 write access
    Perform Task 1
586 read access
    Perform Task 2
587 read access
    Perform Task 3
585 releasing Lock
587 write access
    Perform Task 3
586 read access
    Perform Task 2
585 read access
    Perform Task 1
587 releasing Lock
586 write access
    Perform Task 2
585 read access
    Perform Task 1
587 read access
    Perform Task 3
586 releasing Lock