Azure Data Factory HDI按需定制的Metastore瞬态故障

时间:2017-04-25 10:12:39

标签: azure hdinsight azure-data-factory

我们有一个Azure数据工厂,其中包含大约40个管道,每个管道都有一个活动来使用HDInsight按需链接服务运行配置单元脚本。

我们自从添加了一个使用azure SQL实例作为存储链接服务的自定义Metastore。我们设定的唯一目标是在数据工厂ARM脚本中HcatalogLinkedServiceName

由于这样做,我们注意到活动失败并且我们的性能下降了(这可能是由于我们之前使用的Azure SQL层,这使得DTU的使用率达到100%。)

Error in Activity: The request was aborted: The request was canceled..

活动失败

这在使用自定义Metastore时似乎相当一致,并且在使用默认值时似乎不是问题。

是否还需要配置我们可能错过的自定义Metastore,或者此处描述的任何有关我们的配置/用法的内容,这些内容可能表明我们遇到上述错误导致故障显着增加的原因。

HDI OnDemand OS是linux,版本是3.2。

我们还有一些更严重的错误,但我认为这可能是因为我们将3.3 HDI群集连接到与3.2 on demand群集相同的Metastore。这是本文件建议反对的内容..

https://blogs.msdn.microsoft.com/azuredatalake/2017/03/24/hive-metastore-in-hdinsight-tips-tricks-best-practices/

Ensure that the Metastore created for one HDInsight cluster version is not shared across different HDInsight cluster versions. This is due to different Hive versions has different schemas. Example – Hive 1.2 and Hive 2.1 clusters trying to use same Metastore.

这也似乎暗示3.2和&之间存在重大变化。 3.3 for hive& hcatalog。

https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-component-versioning

0 个答案:

没有答案