Question

我有一个需要启动scrapy可执行文件的python脚本main.py，因此我使用Popen来执行此操作（使用subprocess.call()具有相同的结果）。为简化起见，我只是运行scrapy的帮助论点。

import subprocess
...
p = subprocess.Popen(['scrapy', '-h'])

脚本需要在安装了scrapy的vitualenv内运行。当我激活virtualenv并以python main.py运行脚本时，命令scrapy -h将按预期执行。

现在，我需要将此脚本作为systemd服务运行。我已经为脚本创建了systemd单元，如下所示：

[Unit]
Description=Scrapy test
After=network.target

[Service]
User={{ scrapy_user }}
WorkingDirectory={{ test_path }}
ExecStart={{ virtualenv_path }}/bin/python {{ test_path }}/main.py

[Install]
WantedBy=multi-user.target

当我使用sudo systemctl start scrapy-test启用并启动服务时，代码正常运行，直到p = subprocess.Popen(['scrapy', '-h'])我收到异常时

File "{{ test_path }}/main.py", line 52, in launch_spider
   p = subprocess.Popen(['scrapy', '-h'])
File "/usr/lib/python2.7/subprocess.py", line 710, in __init__
   errread, errwrite)
File "/usr/lib/python2.7/subprocess.py", line 1335, in _execute_child
   raise child_exception
OSError: [Errno 2] No such file or directory

我还尝试在os.chdir('{{ virtualenv_path }}/bin')之前添加Popen来更改工作目录，但我得到完全相同的异常。我确信脚本是通过virtualenv运行的，因为（1）它是在ExecStart属性中设置的，（2）当导入未安装在系统中的模块时，脚本会提前引发异常。蟒。

Answer 1

线索在这里：

ExecStart={{ virtualenv_path }}/bin/python {{ test_path }}/main.py

scrapy命令位于$VIRTUAL_ENV/bin上，而systemd $PATH上没有。

你可以尝试：

import os
import subprocess
p = subprocess.Popen(['%s/bin/scrapy' % os.environ['VIRTUAL_ENV'], '-h'])

Answer 2

稍后可能会遇到的另一个问题，您可能想让python等待 p.wait（）：

import os
import subprocess
p = subprocess.Popen(['%s/bin/scrapy' % os.environ['VIRTUAL_ENV'], '-h'])
p.wait()

否则，systemctl可能会过早终止您的进程。

Answer 3

调用Popen时必须specify the current working directory，以确保从正确的目录执行scrapy。

当python脚本作为systemd服务运行时，Python Popen不会识别scrapy

3 个答案: