我一直在尝试与用户和Dask工作者一起使用NFS共享驱动器。这是行得通的吗?我注意到Dask在我的主目录中创建了两个文件global.lock和purge.lock,并且在工作人员完成后没有清理它们。这些文件做什么?
答案 0 :(得分:0)
是的,Dask可以与NFS堆一起使用,实际上,您可以在各个进程之间共享配置/调度程序状态。每个工作进程将使用其自己的临时存储区。锁定文件可以忽略,它们的存在将完全取决于您正在执行的工作量。
答案 1 :(得分:0)
Dask工作人员空间不足时,会将过多的数据溢出到磁盘上。 NFS 可以在这里工作,但是如果可以的话,使用本地磁盘会更好。通常可以使用def select_trip():
top=Toplevel()
top.title("Delete a trip")
top.geometry("600x300")
text2=Label(top, text="trip ID")
text2.place(relx=0.25 ,rely=0.25)
entryId=Entry(top)
entryId.place(relx=0.45, rely=0.25)
tripId=entryId.get()
button1=Button(top ,text="execute", command=stop_times)
button1.place(relx=0.6 ,rely=0.8)
button2=Button(top ,text="Cancel", command=top.destroy)
button2.place(relx=0.4 ,rely=0.8)
def stop_times():
top=Toplevel()
top.title("Stop times")
top.geometry("600x600")
st = ScrolledText.ScrolledText(top ,height=25)
st.pack()
button1=Button(top, text="Add a stop time", command=add_time)
button1.place(relx=0.7 ,rely=0.8)
button2=Button(top ,text="Delete stop time",command=delete_time)
button2.place(relx=0.4 ,rely=0.8)
button3=Button(top, text="Update stop time")
button3.place(relx=0.1 ,rely=0.8)
def selectionTrip(trip_id ):
mycursor.execute("SELECT * FROM trips WHERE trip_id=%s",[trip_id])
stopid = mycursor.fetchall()
if stopid==None:
return 0
else:
return 1
dask-worker关键字或临时目录配置值进行配置。
您可以在此处阅读有关NFS的存储问题的更多信息和更多准则:https://docs.dask.org/en/latest/setup/hpc.html