Question

我有一个带有HD Insight Pipeline的数据工厂管道，它试图访问Azure Data Lake目录。

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "adl://mppmetering.azuredatalakestore.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

运行此管道时出现以下错误：

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:Got exception: java.io.IOException No FileSystem for scheme: ad

这在使用以下规范访问Azure Blob商店的管道中工作正常：

"type": "HDInsightHive",
            "typeProperties": {
                "scriptPath": "mpp-hive-scripts/parse_log.q",
                "scriptLinkedService": "AzureStorageLinkedService",
                "defines": {
                    "inputtable": "wasb://mpp-metering-live@mppmetering.blob.core.windows.net/hour=23",
                    "outputtable": "wasb://mpp-metering-hive-output@mppmetering.blob.core.windows.net/output/"
                }
            },

任何帮助将不胜感激。 JS

Answer 1

目前，Azure Data Factory不支持在Hive脚本中引用ADL Store。唯一受支持的商店是blob存储（wasb）。这就是您看到错误的原因。您需要在＆＃39;定义＆＃39;中使用blob存储（wasb链接）。部分。如果意图将数据降落到ADL商店，您可以使用“复制”和“复制”。 ADF中的活动将数据从Blob存储区移动到ADL存储区。

Azure数据工厂中的HDInsight Hive CREATE EXTERNAL TABLE ...位置：没有用于scheme的文件系统：adl

1 个答案: