Question

我创建了一个配置单元表并将其集成到bigSQL中。在配置单元中，我的计数是正确的，但是在bigSQL中，记录计数增加了1。以下是我用来创建配置单元表的表属性。

create table test(name string,age int,sal float,city string,country string,emp_id int,increment int)
ROW FORMAT DELIMITED FIELDS TERMINATED  BY '|'
STORED AS TEXTFILE
LOCATION '/user/test'
tblproperties ("skip.header.line.count"="1");

我正在加载的文本文件的第一行具有列名。所以我必须使用

tblproperties ("skip.header.line.count"="1");

当我在配置单元中进行计数查询时，输出低于输出

Total MapReduce CPU Time Spent: 7 seconds 440 msec
OK
48203

但是，当我在bigSQL中同步表时，我的计数低于计数

+-------+
|     1 |
+-------+
| 48204 |

任何想法，我在哪里犯错？

谢谢

Answer 1

我找到了解决此问题的方法。

1) We need to create a temp hive table with tblproperties ("skip.header.line.count"="1");.
2) Load the file on this temp table.
3) create another table without tblproperties ("skip.header.line.count"="1");.
4) insert into tbl select * from temo_tbl;.

为什么蜂巢和bigSQL中的数据不匹配1条记录？

1 个答案: