hive数据加载:第一次成功,重复时失败

时间:2018-03-24 03:51:06

标签: hive

这让我很困惑:

基本上:

  1. 我在HDFS上准备了一个数据文件;
  2. 我创建了一个没有位置信息的新蜂巢;
  3. 我将数据加载到配置单元表中; 它有效,hive表中填充了正确的数据;
  4. 我放下蜂巢桌并重新开始:

    1. 我没有再次上传HDFS文件,因为它已经存在;
    2. 我使用相同的脚本创建完全相同的表;
    3. 我试图将数据加载到同一个表中 我被这个错误拒绝了:
    4.   

      FAILED:SemanticException Line 1:17路径无效   '“data96 / techie.txt”':没有匹配路径的文件   HDFS://nn01.itversity.com:8020 /用户/ paslechoix / data96 / techie.txt

      有关配置单元的整个输出,请参阅文件https://github.com/mdivk/175Scala/blob/master/reviews/first_ok_repeat_fail.txt

2 个答案:

答案 0 :(得分:0)

删除托管表时,删除表时也会删除数据。但是在外部表上只会删除该表。

检查这一点是为了更清晰

External vs Internal

答案 1 :(得分:0)

第一次成功加载后失败的原因是文件被移动到您正在创建的表的目录中。加载到表后,原始路径上没有数据。查看最初将数据移动到的HDFS路径。

如果必须重复此过程,请再次将文件复制到HDFS路径并加载表。