我们有一个Azure数据工厂,其中包含大约40个管道,每个管道都有一个活动来使用HDInsight按需链接服务运行配置单元脚本。
我们自从添加了一个使用azure SQL实例作为存储链接服务的自定义Metastore。我们设定的唯一目标是在数据工厂ARM脚本中HcatalogLinkedServiceName
。
由于这样做,我们注意到活动失败并且我们的性能下降了(这可能是由于我们之前使用的Azure SQL层,这使得DTU的使用率达到100%。)
Error in Activity: The request was aborted: The request was canceled..
这在使用自定义Metastore时似乎相当一致,并且在使用默认值时似乎不是问题。
是否还需要配置我们可能错过的自定义Metastore,或者此处描述的任何有关我们的配置/用法的内容,这些内容可能表明我们遇到上述错误导致故障显着增加的原因。
HDI OnDemand OS是linux,版本是3.2。
我们还有一些更严重的错误,但我认为这可能是因为我们将3.3 HDI群集连接到与3.2 on demand群集相同的Metastore。这是本文件建议反对的内容..
Ensure that the Metastore created for one HDInsight cluster version is not shared across different HDInsight cluster versions. This is due to different Hive versions has different schemas. Example – Hive 1.2 and Hive 2.1 clusters trying to use same Metastore.
这也似乎暗示3.2和&之间存在重大变化。 3.3 for hive& hcatalog。
https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning