所以我希望能够将一些 ETL 管道从 Azure Databricks 转移到 Azure Synapse Analytics,但我在 vnet 集成方面遇到了一些问题。
案例如下: 我们有一个与 VNG-vnet 对等的 vnet,该 vnet 提供对本地 SQL 服务器的访问。对于这些 ETL,我需要能够访问上述 SQL 服务器。
Azure Databricks 通过让我分配特定子网而不是为我管理网络的工作区解决了这个问题:
resource "azurerm_subnet_network_security_group_association" "databricks_pub_sub_nsg_assos" {
subnet_id = azurerm_subnet.databricks_pub_sub.id
network_security_group_id = azurerm_network_security_group.databricks_nsg.id
}
resource "azurerm_subnet_network_security_group_association" "databricks_priv_sub_nsg_assos" {
subnet_id = azurerm_subnet.databricks_priv_sub.id
network_security_group_id = azurerm_network_security_group.databricks_nsg.id
}
resource "azurerm_databricks_workspace" "databricks" {
name = "newcorp-databricks"
resource_group_name = azurerm_resource_group.main_rg.name
managed_resource_group_name = "databricks-resources-rg"
location = azurerm_resource_group.main_rg.location
sku = "premium"
custom_parameters{
public_subnet_name = azurerm_subnet.databricks_pub_sub.name
private_subnet_name = azurerm_subnet.databricks_priv_sub.name
virtual_network_id = var.iver_vnet_id
}
depends_on = [azurerm_network_security_group.databricks_nsg]
}
基本上,我想知道是否有人知道如何注入我的 Azure Synapse Spark 集群可以运行的 vnet(子网)?
如果不是:任何人都可以想出一个聪明的方法来解决我们仍然在代码中保留 ETL(或 ELT,如果您有存储帐户解决方案?)在代码中 -> 不喜欢 Azure 数据工厂拖/放/config 解决方案。