在kubeflow上上传管道

Question

我目前正在尝试设置kubeflow管道。我的用例要求通过yaml / json结构提供管道的配置。在查阅有关提交管道的文档时，我遇到了这一段：

每个管道都定义为Python程序。在将管道提交给Kubeflow Pipelines服务之前，必须将管道编译为中间表示形式。中间表示形式是将YAML文件压缩为.tar.gz文件的形式。

是否可以通过json表示形式或其他任何表示形式（而不是zip文件（tar.gz）表示形式）将管道上传/提交到KubeFlow？有没有办法绕过文件（zips和tar.gz）的文件系统持久性，并将它们作为yaml / json表示形式添加到数据库中？

Answer 1

编译python管道代码时，它将导致包含YAML文件的压缩文件。解压缩后可以取出YAML文件，并将其内容添加到数据库表中。

以后，如果要将其上传到Kubeflow，请使用以下代码：

 pipeline_file_path = 'pipelines.yaml' # extract it from your database
 pipeline_name = 'Your Pipeline Name'

 client = kfp.Client()
 pipeline = client.pipeline_uploads.upload_pipeline(
                                pipeline_file_path, name=pipeline_name)