与Dask工作者一起使用NFS

时间:2019-07-28 12:44:20

标签: dask dask-distributed

我一直在尝试与用户和Dask工作者一起使用NFS共享驱动器。这是行得通的吗?我注意到Dask在我的主目录中创建了两个文件global.lock和purge.lock,并且在工作人员完成后没有清理它们。这些文件做什么?

2 个答案:

答案 0 :(得分:0)

是的,Dask可以与NFS堆一起使用,实际上,您可以在各个进程之间共享配置/调度程序状态。每个工作进程将使用其自己的临时存储区。锁定文件可以忽略,它们的存在将完全取决于您正在执行的工作量。

答案 1 :(得分:0)

Dask工作人员空间不足时,会将过多的数据溢出到磁盘上。 NFS 可以在这里工作,但是如果可以的话,使用本地磁盘会更好。通常可以使用def select_trip(): top=Toplevel() top.title("Delete a trip") top.geometry("600x300") text2=Label(top, text="trip ID") text2.place(relx=0.25 ,rely=0.25) entryId=Entry(top) entryId.place(relx=0.45, rely=0.25) tripId=entryId.get() button1=Button(top ,text="execute", command=stop_times) button1.place(relx=0.6 ,rely=0.8) button2=Button(top ,text="Cancel", command=top.destroy) button2.place(relx=0.4 ,rely=0.8) def stop_times(): top=Toplevel() top.title("Stop times") top.geometry("600x600") st = ScrolledText.ScrolledText(top ,height=25) st.pack() button1=Button(top, text="Add a stop time", command=add_time) button1.place(relx=0.7 ,rely=0.8) button2=Button(top ,text="Delete stop time",command=delete_time) button2.place(relx=0.4 ,rely=0.8) button3=Button(top, text="Update stop time") button3.place(relx=0.1 ,rely=0.8) def selectionTrip(trip_id ): mycursor.execute("SELECT * FROM trips WHERE trip_id=%s",[trip_id]) stopid = mycursor.fetchall() if stopid==None: return 0 else: return 1 dask-worker关键字或临时目录配置值进行配置。

您可以在此处阅读有关NFS的存储问题的更多信息和更多准则:https://docs.dask.org/en/latest/setup/hpc.html