从Databricks Spark集群访问``受限''Amazon Redshift

时间:2018-12-23 06:37:48

标签: networking amazon-redshift nat databricks vpc

我们正在使用Amazon Redshift作为我们的数据仓库。但是,由于它位于封闭的网络内部,因此我们需要将要访问Redshift的IP地址特别列入白名单。

我们使用Databricks的Jobs API提交Spark作业。在每次提交作业时,都会创建新的群集,然后在完成作业时就会失败。这意味着将创建EC2的新的按需实例实例(不同的IP地址)以运行作业。

因此,除非我将不断变化的EC2实例IP地址列入白名单,否则无法从Databricks群集访问Redshift。

Databricks是否有可用的实用程序/脚本将按需为Spark集群创建的EC2实例的IP列入白名单?

0 个答案:

没有答案