Apache Beam /数据流:非Python依赖项

时间:2019-01-22 10:14:14

标签: python apache-beam

我正在尝试在dataflow worker上安装非python依赖项。我正在关注此文档:https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/#nonpython

我尝试了juliaset example,但是看不到Custom command worked!日志行。我可以看到的是:

INFO:root:Executing command: ['/Users/.../PycharmProjects/beam/sdks/python/apache_beam/examples/complete/juliaset/.venv/bin/python', 'setup.py', 'sdist', '--dist-dir', '/var/folders/t4/0vmwwlg17vd24jqz8wztr5100000gr/T/tmpIIvqyx']

我在本地python setup.py sdist上尝试过,它没有触发命令,但是python setup.py build了。

我想念什么?

修改

哦,我错过了这个jira ticket,但在工作人员启动日志中也找不到它。

我想我的问题应该是,如何检查是否安装了非python依赖项(如果没有日志)?

编辑2

我终于找到了一种痛苦的方法来检查依赖项是否已安装。我ssh工人(gcloud计算ssh..etc)。我等待工作开始良好,我先是docker ps,然后是docker exec -ti容器。在每个容器内,我检查是否已安装依赖项,直到找到合适的docker。

是的,它确实有效,但是似乎哪里都没有日志。

0 个答案:

没有答案