Question

我正在尝试将元素列表作为PipelineParameter发送到轻量级组件。
这是重现该问题的示例。这是函数：

        @PlanningScore
        @Columns(columns = { @Column(name = "initScore"), 
                             @Column(name = "hardScore"), 
                             @Column(name = "softScore") })
        private HardSoftScore score;

如果我用它执行它：

@TypeDef(defaultForType = HardSoftScore.class, 
         typeClass = HardSoftScoreHibernateType.class) // Hibernate annotation

它的行为符合预期：

def my_func(my_list: list) -> bool:
    print(f'my_list is {my_list}')
    print(f'my_list is of type {type(my_list)}')
    print(f'elem 0 is {my_list[0]}')
    print(f'elem 1 is {my_list[1]}')
    return True

但是如果我将其包装在op中并建立管道：

test_data = ['abc', 'def']
my_func(test_data)

然后运行管道：

my_list is ['abc', 'def']
my_list is of type <class 'list'>
elem 0 is abc
elem 1 is def

然后似乎在某些时候我的列表已转换为字符串！

import kfp

my_op = kfp.components.func_to_container_op(my_func)

@kfp.dsl.pipeline()
def my_pipeline(my_list: kfp.dsl.PipelineParam = kfp.dsl.PipelineParam('my_list', param_type=kfp.dsl.types.List())):
    my_op(my_list)

kfp.compiler.Compiler().compile(my_pipeline, 'my_pipeline.zip')

Answer 1

这是我发现的解决方法，将参数序列化为json字符串。不确定这真的是最好的方法...

裸功能变为：

def my_func(json_arg_str: str) -> bool:
    import json
    args = json.loads(json_arg_str)
    my_list = args['my_list']
    print(f'my_list is {my_list}')
    print(f'my_list is of type {type(my_list)}')
    print(f'elem 0 is {my_list[0]}')
    print(f'elem 1 is {my_list[1]}')
    return True

只要您将args作为json字符串而不是列表传递，它仍然可以工作：

test_data ='{“ my_list”：[“ abc”，“ def”]}' my_func（test_data）

哪个会产生预期的结果：

my_list is ['abc', 'def']
my_list is of type <class 'list'>
elem 0 is abc
elem 1 is def

现在，将管道更改为接受str类型的PipelineParam而不是kfp.dsl.types.List：

import kfp 

my_op = kfp.components.func_to_container_op(my_func)

@kfp.dsl.pipeline()
def my_pipeline(json_arg_str: str):
    my_op(json_arg_str)

kfp.compiler.Compiler().compile(my_pipeline, 'my_pipeline.zip')

哪个，当像这样执行时：

client = kfp.Client()
experiment = client.create_experiment('Default')
client.run_pipeline(experiment.id, 'my job', 'my_pipeline.zip', params={'json_arg_str': test_data})

产生相同的结果：

my_list is ['abc', 'def']
my_list is of type <class 'list'>
elem 0 is abc
elem 1 is def

尽管它可以工作，但是我仍然发现这种解决方法很烦人。如果不允许使用作为列表的PipelineParam，那么kfp.dsl.types.List的意义是什么？

Answer 2

当前最好的选择似乎是序列化参数。有一个与此相关的问题：https://github.com/kubeflow/pipelines/issues/1901

在Kubeflow管道中，如何将元素列表发送到轻量级python组件？

2 个答案: