子进程在docker容器中不起作用

时间：2018-03-22 23:15:46

标签： python django docker celery libreoffice

我真的疯了，拔掉我的头发因为我似乎无法解决这个特殊的问题。

所以这就是问题：我有两个容器：Django和芹菜。用户上传word文档，芹菜工作者将该word文档转换为pdf并上传到s3存储桶。我正在使用sender进行转换。因此，用户将文件发送到API端点，并将word文档保存在名为libreoffice --headless的文件夹中，并将芹菜调用original保存，该文件需要转换文件并将其放入另一个文件夹convert_office_to_pdf.delay。除芹菜功能外，一切都按预期工作。这就是代码的外观：

converted

然而，函数get已执行且没有任何反应。这是import subprocess def convert_office_to_pdf(original_file): ws = websocket.WebSocket() ws.connect('ws://web:8000/ws/converter/public/') #how the command will look like print('libreoffice --headless --convert-to pdf original/{} --outdir ./converted'.format(original_file)) subprocess.call('libreoffice --headless --convert-to pdf original/{} --outdir ./converted'.format(original_file), shell=True) ws.send(json.dumps({ 'message': '{}.pdf'.format(pure_file_name), 'progress': 75})) upload_file_to_s3(pure_file_name, 'pdf', ws)

的输出 
docker-compose

当我上传文件时，我可以确认该文件已添加到web_1 | [2018/03/22 22:57:52] HTTP GET /converter/ 200 [0.06, 172.17.0.1:32788] web_1 | [2018/03/22 22:57:52] HTTP GET /static/css/normalize.css 304 [0.02, 172.17.0.1:32788] web_1 | [2018/03/22 22:57:52] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.1:32798] web_1 | [2018/03/22 22:57:52] WebSocket CONNECT /ws/converter/public/ [172.17.0.1:32798] fileshiffty_data_1 exited with code 0 worker_1 | [2018-03-22 22:58:04,413: INFO/MainProcess] Received task: api.tasks.convert_office_to_pdf[287805aa-3c9c-4212-92d4-cac5872076f2] worker_1 | [2018-03-22 22:58:04,414: DEBUG/MainProcess] TaskPool: Apply <function _fast_trace_task at 0x7fb72d567e18> (args:('api.tasks.convert_office_to_pdf', '287805aa-3c9c-4212-92d4-cac5872076f2', {'lang': 'py', 'task': 'api.tasks.convert_office_to_pdf', 'id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'eta': None, 'expires': None, 'group': None, 'retries': 0, 'timelimit': [None, None], 'root_id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'parent_id': None, 'argsrepr': "('1521759484.3458297-Doc1.docx',)", 'kwargsrepr': '{}', 'origin': 'gen8@a478d8966021', 'reply_to': 'adf32365-ef93-327e-842f-7eff10fda37a', 'correlation_id': '287805aa-3c9c-4212-92d4-cac5872076f2', 'delivery_info': {'exchange': '', 'routing_key': 'celery', 'priority': 0, 'redelivered': None}}, b'[["1521759484.3458297-Doc1.docx"], {}, {"callbacks": null, "errbacks": null, "chain": null, "chord": null}]', 'application/json', 'utf-8') kwargs:{}) web_1 | [2018/03/22 22:58:04] HTTP PUT /api/v1/fileupload/word/pdf/ 200 [0.07, 172.17.0.1:32788] worker_1 | [2018-03-22 22:58:04,417: DEBUG/MainProcess] Task accepted: api.tasks.convert_office_to_pdf[287805aa-3c9c-4212-92d4-cac5872076f2] pid:9 web_1 | [2018/03/22 22:58:04] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.2:58928] web_1 | [2018/03/22 22:58:04] WebSocket CONNECT /ws/converter/public/ [172.17.0.2:58928] worker_1 | [2018-03-22 22:58:04,426: WARNING/ForkPoolWorker-2] /data/web/fileshiffty worker_1 | [2018-03-22 22:58:04,427: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted web_1 | {"message": "1521759484.3458297-Doc1.pdf", "progress": 50} web_1 | {"message": "1521759484.3458297-Doc1.pdf", "progress": 75} 文件夹，日志条目original显示worker_1 | [2018-03-22 22:58:04,427: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted将调用的命令。但是，当我查看subprocess文件夹时，我什么也看不见。它完全是空的。然而，奇怪的部分是当我打入docker容器并运行SAME EXACT时，文件被转换并放入文件夹。像这样

converted

为什么我在bash in并执行它工作的子进程但不是从文件执行。有人可以帮帮我吗？

编辑。似乎subprocess命令似乎没有被执行。我将代码更改为以下内容，以找出子进程命令后发生的情况，甚至使用绝对路径，如下所示：

root@4b9da6f71226:/data/web/fileshiffty/api# python3
Python 3.6.4 (default, Mar 14 2018, 17:49:05) 
[GCC 4.9.2] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import subprocess
>>> subprocess.call('libreoffice --headless --convert-to pdf original/1521759484.3458297-Doc1.docx --outdir ./converted', shell=True)
convert /data/web/fileshiffty/api/original/1521759484.3458297-Doc1.docx -> /data/web/fileshiffty/api/converted/1521759484.3458297-Doc1.pdf using writer_pdf_Export
0

我得到以下输出

def convert_office_to_pdf(original_file):
    ws = websocket.WebSocket()
    ws.connect('ws://web:8000/ws/converter/public/')
    pure_file_name = os.path.splitext(os.path.basename(original_file))[0]
    ws.send(json.dumps({
        'message': '{}.pdf'.format(pure_file_name), 
        'progress': 50}))
    print(os.getcwd())
    print('libreoffice --headless --convert-to pdf original/{} --outdir ./converted'.format(original_file))
    command = ['libreoffice', '--headless', '--convert-to', 'pdf', '{}/original/{}'.format(os.getcwd(), original_file), '--outdir', '{}/converted'.format(os.getcwd())]
    process = subprocess.Popen(command, stdout=subprocess.PIPE)
    out, err = process.communicate()
    print(out)
    print(err)
    print('------------------------------------------------')
    ws.send(json.dumps({
        'message': '{}.pdf'.format(pure_file_name), 
        'progress': 75}))
    upload_file_to_s3(pure_file_name, 'pdf', ws)

[2018-03-22 23:44:54,668: DEBUG/MainProcess] Task accepted: api.tasks.convert_office_to_pdf[721ed2db-6a74-4fd2-9484-0fca14df7c01] pid:9 web_1 | [2018/03/22 23:44:54] WebSocket HANDSHAKING /ws/converter/public/ [172.17.0.2:60898] web_1 | [2018/03/22 23:44:54] WebSocket CONNECT /ws/converter/public/ [172.17.0.2:60898] worker_1 | [2018-03-22 23:44:54,696: WARNING/ForkPoolWorker-2] /data/web/fileshiffty worker_1 | [2018-03-22 23:44:54,696: WARNING/ForkPoolWorker-2] libreoffice --headless --convert-to pdf original/1521762293.8511283-Doc1.docx --outdir ./converted web_1 | {"message": "1521762293.8511283-Doc1.pdf", "progress": 50} worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] b'' worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] None worker_1 | [2018-03-22 23:44:55,283: WARNING/ForkPoolWorker-2] ------------------------------------------------ web_1 | {"message": "1521762293.8511283-Doc1.pdf", "progress": 75} 只打印一个空白字节和print(out)，只打印无。

编辑2 - 这是docker-compose文件

print(err)

2 个答案:

答案 0 :(得分：0)

一些可能的原因：

  1. 仅当多个用户调用您的Web API并调用libreoffice时，才会发生这种情况吗？如果是这样，则需要确保每个并发的libreoffice进程都有其自己的独立用户安装目录。您可以使用libreoffice -env:UserInstallation=file:///tmp/test设置自定义图片。

  2. 如果您的模型是您提前开始一个libreoffice进程，那么以后的libreoffice进程只是将请求转发给已经启动的工作程序，那么您使用什么版本的LibreOffice ？例如，6.1行有一个错误，我们没有等待转换结果，请参见https://gerrit.libreoffice.org/#/c/66168/以获取修复。 （“关于”对话框具有版本字符串和确切的git哈希。因此6.1.5已经具有此修复程序，但没有6.1.4。）

答案 1 :(得分：0)

检查您在其中开发代码的Python的版本和用于构建容器的版本是否相同。 我面临一个完全相似的问题。我正在使用subprocess.call()在代码中的命令行上执行某些操作。我的代码在本地计算机上运行得很好，但是在尝试在docker容器中运行时失败于subprocess.call()。如果奇怪的是，如果我在交互式Python shell中显式编写subprocess.call()，它将在docker内部运行。我什至尝试尝试os.system()。同样的问题。

当我使python版本相同时，终于解决了（最初，开发版本为3.7.3，docker容器为3.5）。 希望对您同样有用！

如果我建议其他人可以对此肮脏的修补程序添加更多的技术见解，那就太好了。

相关问题
最新问题