工作者启动后数据流作业未运行？

Question

有时，即使工作程序成功启动，提交后GCP数据流作业也不会开始。

Answer 1

以下是无法启动数据流作业的可能原因：

1）没有足够的权限来service account或IAM user

• 向服务帐户添加dataflow admin权限。

• 对于IAM用户，添加广泛级别的访问权限，例如EDITOR或OWNER，然后在命令下运行

  • gcloud config set project <your_project_id>
  • gcloud auth login
  • gcloud auth login application-default

2）有时程序包依赖关系可能会导致这种情况。要解决此问题，请执行以下步骤： 从本地setup.py生成requirements.txt

- pip freeze > requirements.txt
- then add packages from `requirements.txt` into `setup.py`
- Add proper path of `setup.py` in JOB CONFIG.