在hadoop实例之间移动部分数据

时间:2013-06-28 16:51:24

标签: hadoop hive

我必须将一个数据块从一个hadoop集群复制到另一个集合。我写了一个hive查询,它将数据转储到hdfs中。将文件复制到目标集群后,我尝试使用命令“load data inpath'/a.txt'将数据加载到表数据中”。我收到以下错误消息

  

异常错误的文件格式失败。请检查文件的格式。   FAILED:执行错误,从org.apache.hadoop.hive.ql.exec.MoveTask返回代码1

我已将数据转储为序列文件。谁能让我知道我在这里失踪了什么?

1 个答案:

答案 0 :(得分:2)

如果要在表格中存储序列文件,则应在创建表时使用STORED AS SEQUENCEFILE。并且您已写过您已将数据转储为Sequence file,但您的文件名为a.txt。我没有得到它。

如果要将文本文件加载到需要将Sequence文件作为数据源的表中,您可以做一件事。首先创建一个普通表并将文本文件加载到此表中。然后做:

insert into table seq_table select * from text_table;