Question

我在包app中添加了芹菜工人：

proj
├── app
│   ├── worker.py
│   └── server.py
└── db
    ├── db.sql
    ├── check_db_health.py
    └── documents.md

我可以通过两种方式运行该工作器：

#1st way
user@host:~/proj
$ celery worker -A app.worker

#2nd way
user@host:~/proj
$ python -m app.worker

但是它们之间有不同的行为。

第二个工人没有可定制的参数，所以我不想使用它。但是它可以完美运行！找不到错误。
第一个启动也很好，但是由于实际的项目代码具有动态模块导入链，因此在触发任务时通常会遇到模块导入错误。

server.py

from app.worker import enqueue

def sum(a, b):
  return a+b

enqueue(sum, a, b)

worker.py

def enqueue(callback, *args, **kwargs):
    module_path = inspect.getfile(callback)
    module_name = inspect.getmodule(callback).__name__
    func_name   = callback.__name__
    no_delay = kwargs.pop('no_delay', False)
    return do_legacy_task.apply_async(args=args, kwargs=dict(kwargs, **{
        "module_name": module_name,
        "module_path": module_path,
        "func_name": func_name
    }))
    return None


@task(bind=True, name="app.worker.do_callback_task")
do_legacy_task(self, *args, **kwargs):
    clean_kwargs = copy.deepcopy(kwargs)
    module_path  = clean_kwargs.pop('module_path')
    module_name  = clean_kwargs.pop('module_name')
    func_name    = clean_kwargs.pop('func_name')

    spec = importlib.util.spec_from_file_location(module_name, module_path)
    if spec is None:
        print("can't find the module %s in file %s" % (module_name, module_path,))
    else:
        module = importlib.util.module_from_spec(spec)
        spec.loader.exec_module(module)
        sys.modules[module_name] = module

        callback = getattr(module, func_name)
        return callback(*args, **clean_kwargs)
    return None

服务器和工作程序动态导入技术基于此example

错误

File "/Users/johndoe/proj/app/server.py", line 16, in <module>
    from db.check_db_health import CodeDiagnostic
ModuleNotFoundError: No module named 'db'

为什么双向导入其他模块时会有不同的行为？如何解决以上错误？

更新我发现可以通过为Celery传递一个额外的参数来跳过此错误：

user@host:~/proj
$ celery worker -A app.worker --include db.check_db_health

如果有一种方法可以自动完成，那就太好了。

Answer 1

我不太了解Celery的导入模块机制。但是，当您想与一个工作人员与项目中的不同包进行交互时；您应该将这些软件包添加到celeryconfig.py中：

celeryconfig.py

include = [
    'db. check_db_health', # a module
    'tests'                # or a package with a ready __init__.py 
]

Celery使用上述配置将列出的模块加载到进程中。

为什么Celery在启动工人方面有两种不同的行为？

1 个答案: