我正在尝试在dataflow worker上安装非python依赖项。我正在关注此文档:https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/#nonpython。
我尝试了juliaset example,但是看不到Custom command worked!
日志行。我可以看到的是:
INFO:root:Executing command: ['/Users/.../PycharmProjects/beam/sdks/python/apache_beam/examples/complete/juliaset/.venv/bin/python', 'setup.py', 'sdist', '--dist-dir', '/var/folders/t4/0vmwwlg17vd24jqz8wztr5100000gr/T/tmpIIvqyx']
我在本地python setup.py sdist
上尝试过,它没有触发命令,但是python setup.py build
了。
我想念什么?
修改:
哦,我错过了这个jira ticket,但在工作人员启动日志中也找不到它。
我想我的问题应该是,如何检查是否安装了非python依赖项(如果没有日志)?
编辑2 :
我终于找到了一种痛苦的方法来检查依赖项是否已安装。我ssh工人(gcloud计算ssh..etc)。我等待工作开始良好,我先是docker ps,然后是docker exec -ti容器。在每个容器内,我检查是否已安装依赖项,直到找到合适的docker。
是的,它确实有效,但是似乎哪里都没有日志。