setup.py是否实际将软件包加载到GCP Dataflow?

时间:2019-08-29 14:30:16

标签: python apache-beam dataflow

在这里,我正在使用setup.py为我的数据流作业安装依赖项, 但是在GCP Dataflow Stackdriver错误日志中,下载软件包时出现错误。

当我在本地运行时,以下代码是否与链接到工件或pip服务器数据流的数据访问无关?

 from __future__ import absolute_import
 from setuptools import setup, find_packages

setup(name='DataflowpipelineDependencies',
  version='0.1',
  description='Dependencies',
  install_requires=[
    'google-cloud-storage==1.16.1',
    'jsonschema==2.6.0',
    'vm-cloudevents==0.1.0' // Private artifactory package
  ],
  packages = find_packages()
 )

1 个答案:

答案 0 :(得分:0)

您可以使用--setup_file选项上传依赖项。