云数据融合预览环境

时间:2020-04-30 07:05:12

标签: google-cloud-data-fusion

我们可以配置计算配置文件以在我创建的自定义集群上运行管道,但是对于预览,我无法指定计算配置文件。

我需要使用一些自定义转换,这需要我在data-proc集群上安装一些外部jar才能使代码正常工作。我想在使用“预览运行”部署代码之前对其进行测试

我在那里可以实现这一目标。在预览运行时,我看不到可以设置来选择计算配置文件的任何属性。

1 个答案:

答案 0 :(得分:0)

在聊天中的讨论和进一步的调查之后,我确认在部署管道之前,不可能在 Compute Profile > Pipeline Studio 。但是,通过单击 配置 ,您可以使用一些选项,如下所示:

enter image description here

如果您点击 配置 ,则可以更改:管道配置,引擎配置,资源管道警报 >。此外,您还可以选择 预览 模式,然后单击 配置 以更改运行时参数预览配置(将显示的记录数)。

如果您需要选择Compute Profile来测试代码,我建议您进行部署,选择正确的Compute Profile并运行它。如果您需要更改管道中的任何内容,则可以对其进行复制,然后将其带回到 Pipeline studio ,您可以在其中进行编辑。您可以按照以下步骤实现:单击 操作 按钮(位于Data Fusion管道控制台的右上角),然后单击 Duplicate

或者,您也可以在此link中向Google请求功能请求。