Question

我们有一个安全的Dataproc集群，我们可以使用以下命令使用单个用户ID成功将SSH SSH到其中：

gcloud compute ssh cluster-name --tunnel-through-iap

但是，当我们创建一个配置文件并将其附加到Data Fusion实例并配置运行管道时，它会引发连接超时：

java.io.IOException: com.jcraft.jsch.JSchException: java.net.ConnectException: Connection timed out (Connection timed out)
    at io.cdap.cdap.common.ssh.DefaultSSHSession.<init>(DefaultSSHSession.java:88) ~[na:na]
    at io.cdap.cdap.internal.app.runtime.distributed.remote.RemoteExecutionTwillPreparer.lambda$start$0(RemoteExecutionTwillPreparer.java:436) ~[na:na]

我们如何配置数据融合管道以与受保护的Dataproc集群一起运行？请让我知道。

Answer 1

一些信息可提供有关此问题的更多信息：

在选项--tunnel-through-iap中，很可能您正在使用Tunneling with SSH，并且cluster-name是要连接到的Dataproc集群的实例名称。该链接还提供有关选项--internal-ip的信息，该选项仅通过实例的内部IP连接到实例。
Data Fusion解释了创建private IP addresses来限制对您的实例的访问的过程。

因此，一旦正确配置了防火墙规则，私有IP实例和选项--internal-ip可能是连接到您的实例（保持安全群集）的很好组合。

设置Datafusion实例以连接安全的Dataproc集群

1 个答案: