Hive查询 - FAILED SemanticException无效路径

时间:2016-12-01 05:09:44

标签: csv azure hadoop hive

< p>< strong>这是我的问题:< / strong>< / p> < p>在我用尽了第一套免费赠送金额后,我刚刚将我的初始Azure订阅转换为Pay-As-You-Go订阅(首次是30天试用)。现在一切正常了 - 我仍然拥有相同的旧资源组,我在其下建立一个新的集群。我的CSV数据文件仍然存在于我上次创建的容器中(不是默认容器,而是之前建立的容器)。我唯一需要重新创建的是将数据加载到的Hive表。那张桌子我又能够再次建立。然而,当我尝试运行Hive查询以实际从CSV文件将数据加载到Hive表中时,如下所示...< / p> < pre>< code> LOAD DATA INPATH'/container1/HdiSamples/user/data-file.csv'OVERWRITE INTO TABLE default.hive_table; < /代码>< /预> < p> ...我不断收到“失败”作为错误消息(我使用Data Lake工具为VS上传blob并运行查询)。在特定错误日志中,以“FAILED:SemanticException等”开头的行每次都很突出......(尽管使用不同的文件上传位置)。< / p> < p>< em> 16/12/01 04:16:25 WARN conf.HiveConf:名称为hive.log.dir的HiveConf不存在 FAILED:SemanticException Line 1:17无效路径''/container1 / HdiSamples/user/data-file.csv'':没有匹配路径的文件是:b://container1@resourcegroup.blob.core.windows.net/container1/HdiSamples/用户/数据FILE.CSV< / EM>< / p为H. < p>< strong>以下是我的问题:< / strong>< / p> < p>任何人都可以告诉我为什么它找不到并从文件实际所在的位置加载文件...?< / p> < p>我只是不明白这个错误的原因...< / p>

1 个答案:

答案 0 :(得分:1)

虽然自从我提出这个问题已经有一段时间了,但我自己想出了一个问题的解决方案,我想,我会与其他人分享......

我有一周的问题,无法从Azure Blob存储中将数据加载到Hive表中。我的blob中有两个名为data-file.csv和data-file-extended-1.CSV的CSV文件。请注意文件扩展名中的大写字母!

Hive和Hadoop不接受这些文件,除非...... a)文件名拼写完全,包括文件扩展名中的大写字母 和 b)文件名大幅缩短,没有连字符和数字(在我的例子中,我只使用了6个联合字母,即" datfil"和" datfix")

令人震惊的是,在官方Azure文档中都没有提到这些问题,也没有在网上找到任何内容。但是,这两个调整将解决错误消息。

只是为了让人们知道......