尝试执行luigi任务时，如何解决“ luigi.worker.TaskException：无法安排非任务<class'__main __。Task'>”的问题？

Question

我是Luigi的新手，我创建了一个管道，该管道从数据库获取数据，转换数据然后将其加载回数据库。我在其中创建了四个任务。但是，当我在cmd或Pycharm上执行任务时，它表示无法安排非任务。下面是我的管道的伪代码。 每个任务的参数不是输入，而是从其他文件获取的。

    class Task1(luigi.Task): 
          # Some Parameters
         def get_target(): 
         def query():
         def run(): 
    class Task2(luigi.Task):
          # Some Parameters 
         def requires():
           return Task1()
         def func1():
         def func2():
         def run()
    class Task3(luigi.Task): 
         # Some Parameters 
         def requires():
             return Task2()
         def run():
    class Task4(luigi.Task):
         # Some Parameters 
          def requires(): 
              return Task3()
          def run(): 

在Pycharm上，我使用

if __name__ == '__main__':
    luigi.build([Task1, Task2, Task3, Task4], workers=5, local_scheduler=True)

在cmd上，我使用

 python .\folder\file.py Task1

但这给了我这个错误

INFO: Worker Worker was stopped. Shutting down Keep-Alive thread
Traceback (most recent call last):
  File "D:/folder/file.py", line 300, in <module>
    luigi.build([Task1, Task2, Task3, Task4], workers=5, local_scheduler=True)
  File "C:\Users\Anaconda3\lib\site-packages\luigi\interface.py", line 237, in build
    luigi_run_result = _schedule_and_run(tasks, worker_scheduler_factory, override_defaults=env_params)
  File "C:\Users\Anaconda3\lib\site-packages\luigi\interface.py", line 171, in _schedule_and_run
    success &= worker.add(t, env_params.parallel_scheduling, env_params.parallel_scheduling_processes)
  File "C:\Users\Anaconda3\lib\site-packages\luigi\worker.py", line 740, in add
    self._validate_task(task)
  File "C:\Users\Anaconda3\lib\site-packages\luigi\worker.py", line 638, in _validate_task
    raise TaskException('Can not schedule non-task %s' % task)
luigi.worker.TaskException: Can not schedule non-task <class '__main__.Task1'>

Answer 1

首先，您需要为所有任务指定输出。没有输出，luigi不知道任务何时完成。其次（您的实际问题所在），您尚未实例化要传递的任务。您只需要创建实例，所以请尝试：

luigi.build([Task1(), Task2(), Task3(), Task4()], workers=5, local_scheduler=True)

但是，我觉得有必要指出其他几点：

1）由于每个任务都指定了先前需要的任务，因此您只需要告诉luigi运行链中的最后一个任务，所以：

luigi.build([Task4()], workers=5, local_scheduler=True)

这将告诉luigi它需要完成任务4。要完成任务4，luigi将查看任务4的要求并查看任务3。然后它将看到任务3的运行要求，并查看任务2等。 Luigi将自动为您构建图形并按照满足每个任务的依赖关系的顺序运行它们。

最后，在.build中给luigi任务的顺序总体上影响不大。这是因为luigi不会根据给定的顺序来确定顺序，而是取决于依赖关系图和task priority。

编辑：如果您需要多个任务来完成另一个任务，则只需执行以下操作：

class Task4(luigi.Task):
  def requires(self):
    return [Task1(), Task2(), Task3()]