我们可以配置计算配置文件以在我创建的自定义集群上运行管道,但是对于预览,我无法指定计算配置文件。
我需要使用一些自定义转换,这需要我在data-proc集群上安装一些外部jar才能使代码正常工作。我想在使用“预览运行”部署代码之前对其进行测试
我在那里可以实现这一目标。在预览运行时,我看不到可以设置来选择计算配置文件的任何属性。
答案 0 :(得分:0)
在聊天中的讨论和进一步的调查之后,我确认在部署管道之前,不可能在 Compute Profile > Pipeline Studio 。但是,通过单击 配置 ,您可以使用一些选项,如下所示:
如果您点击 配置 ,则可以更改:管道配置,引擎配置,资源和管道警报 >。此外,您还可以选择 预览 模式,然后单击 配置 以更改运行时参数和预览配置(将显示的记录数)。
如果您需要选择Compute Profile来测试代码,我建议您进行部署,选择正确的Compute Profile并运行它。如果您需要更改管道中的任何内容,则可以对其进行复制,然后将其带回到 Pipeline studio ,您可以在其中进行编辑。您可以按照以下步骤实现:单击 操作 按钮(位于Data Fusion管道控制台的右上角),然后单击 Duplicate 。
或者,您也可以在此link中向Google请求功能请求。