我在Azure数据工厂的输出数据集上收到错误。
"不支持HDInsight区域。地区代码:ln。"
由于我没有使用HDInsight,它有点奇怪,它是在Azure批处理和两个存储帐户上运行的c#中的自定义活动的管道,用于实验目的。
datafactory位于北欧,其余位于英国南部。
HDInsight可能会为数据移动提供动力吗?
读取FAQ计算和存储资源的位置可以在不同的区域吗?
编辑:
以下是管道内的活动JSON:
"activities": [
{
"type": "DotNetActivity",
"typeProperties": {
"assemblyName": "AzureBatchDemoActivity.dll",
"entryPoint": "AzureBatchDemoActivity.DemoActivity",
"packageLinkedService": "AzureStorageLinkedService",
"packageFile": "/demoactivitycontainer/AzureBatchDemoActivity.zip",
"extendedProperties": {
"SliceStart": "$$Text.Format('{0:yyyyMMddHH-mm}', Time.AddMinutes(SliceStart, 0))"
}
},
"inputs": [
{
"name": "InputDataset"
}
],
"outputs": [
{
"name": "OutputDataset"
}
],
"policy": {
"timeout": "00:30:00",
"concurrency": 2,
"retry": 3
},
"scheduler": {
"frequency": "Hour",
"interval": 1
},
"name": "DemoActivity",
"linkedServiceName": "AzureBatchLinkedService"
}
],
答案 0 :(得分:1)
我一直与Azure支持人员联系,这是他们非常迅速的回应!
在不支持数据移动的区域中使用自定义活动和存储帐户时,似乎是不正确的错误消息。
我看到重新阅读文档,有一个巧妙的说法:
可以使用为Data Factory中的数据移动提供支持的服务 全球在几个地区。 - (supported regions)
我错误地将“全局”视为无处不在的意思,但我应该将其视为全球特定地区。
我认为即使我使用自定义活动,因为涉及源和目标存储帐户,但它被隐含地视为“数据移动”操作。
答案 1 :(得分:0)
我遇到了运行HDInsightOnDemand的类似问题(相同的错误消息)。存储帐户的区域没有问题。
问题是LinkedService中未指定集群详细信息。我想ADF很困惑哪个集群可以创建Linux或Windows,Hadoop或Spark。 无论如何,解决方案是在HDInsightLinkedService
中添加以下属性"properties": {
"type": "HDInsightOnDemand",
"typeProperties": {
"clusterType": "Hadoop",
"osType": "linux",
"version": "3.5",
...
答案 2 :(得分:0)
我遇到了这个问题,发现它是一个Azure bug。 '杜'是北欧地区数据中心的内部代码。
HDInsight or storage of Azure Batch region is not supported. Region code: du.
通过相同脚本部署到同一区域的两个资源组生成了一个工作资源和一个损坏的数据工厂资源。 Azure支持工程师告诉我,这是因为该地区的数据中心是新的,尚未列入白名单。
建议的解决方法是重新部署环境,并希望将存储帐户部署到该白名单区域中的其他数据中心。