我们正在使用Amazon Redshift作为我们的数据仓库。但是,由于它位于封闭的网络内部,因此我们需要将要访问Redshift的IP地址特别列入白名单。
我们使用Databricks的Jobs API提交Spark作业。在每次提交作业时,都会创建新的群集,然后在完成作业时就会失败。这意味着将创建EC2的新的按需实例实例(不同的IP地址)以运行作业。
因此,除非我将不断变化的EC2实例IP地址列入白名单,否则无法从Databricks群集访问Redshift。
Databricks是否有可用的实用程序/脚本将按需为Spark集群创建的EC2实例的IP列入白名单?