在Hive中执行LOAD DATA时,是否会复制数据?

时间:2017-04-03 14:12:47

标签: hadoop hive hiveql hdfstore

将存储在HDFS中的数据加载到HIVE时,HDFS中的这些数据是否会被复制到HIVE使用的不同格式中?或者它是否使用原始文件来存储/选择/插入/修改数据?

上下文: LOAD DATA INPATH'/home/user/sample.txt'OVERWRITE INTO TABLE员工;

HIVE是否始终使用/home/user/sample.txt存储/选择/插入/修改数据,还是在HDFS / HBASE中创建占用新空间的新文件?

2 个答案:

答案 0 :(得分:1)

LOAD DATA INPATH除了将HDFS文件移动到表的位置之外什么都不做,而“移动”我指的是HDFS的元数据操作。

答案 1 :(得分:1)

documentation

中对此进行了解释
  

如果未指定关键字LOCAL,则Hive将使用filepath的完整URI(如果指定了一个),或者将应用以下规则:   [...]    Hive会将文件路径寻址的文件移动到表(或分区)