我尝试更新流数据流管道,因为它没有以一致且快速的方式正确地自动缩放。管道使用洗牌服务并返回以下错误:由于配置错误,无法创建工作流。无法解析与实验use_shuffle_service_address对应的值。
我已经将worker的数量设置为5,并且自动缩放算法也设置为THROUGHPUT_BASE。当我第一次启动管道时,数据量很低,因此工作人员将比例缩减为1。但是,当增加更多数据时,多个工作人员的速度非常慢,并且会产生相当大的滞后(最多40分钟)扩大规模)。
我希望数据流在收到数据激增后能更快地自动扩展,或者希望能够更新管道并保持随机播放服务。