luigi的中央与本地调度程序进程

时间:2018-04-24 01:15:35

标签: luigi

我正在学习与luigi合作,这让我陷入困境数小时。我有一个简单的任务写输出到本地文件。使用中央调度程序执行: python src/pipeline.py GetNeuronIDs --species drosophila\ melanogaster 返回

Did not run any tasks
This progress looks :| because there were tasks that were not granted run permission by the scheduler

最后,我尝试使用本地调度程序:

python src/pipeline.py GetNeuronIDs --species drosophila\ melanogaster --local-scheduler

并且运行正常,创建了本地输出文件。我收集这是由于写/所有权权限?

我想确保我的设置符合每个luigi工作流程的要求。我是否错过了为运行中央调度程序的luigi进程分配权限的步骤,还是其他的呢? 我像这样调用了luigi服务器:

luigid --background --logdir logs

为了清理之后,我必须做ps ax |grep luigid之类的事情才能获得PID,然后杀死它。这是退出luigid的正确方法吗?

1 个答案:

答案 0 :(得分:0)

请确保正在运行luigid进程的用户具有对src/pipeline.py的读取和执行权限。或者确保正在运行luigid的用户与拥有src/pipeline.py的用户属于同一组,并且对src/pipeline.py的组权限是正确的。

有关Linux文件权限的更多信息,我发现此站点是有用的资源: https://www.linux.com/learn/understanding-linux-file-permissions