当我使用CTAS(创建表为)时,Apache Kudu TServer出现故障,因此插入失败

时间:2018-11-23 16:01:14

标签: bigdata cloudera impala apache-kudu

我遇到了Cloudera Impala(镶木地板格式)的表的情况,

表统计信息为:

大小:23GB :6700万 RowSize :大约5KB :308

我的Cloudera是 共6个节点Cloudera群集(磁盘:每个84TB,内存:每个251GB)

Kudu Master和Tablet Server 2个主节点,5个平板电脑服务器(一个节点既充当平板电脑服务器又充当主服务器)

这是我的表Schema(Structure)

CREATE TABLE SRV_REQ_X
PRIMARY KEY (row_id)
PARTITION BY HASH(row_id) PARTITIONS 5
STORED AS KUDU 
TBLPROPERTIES ('kudu.table_name'='IMPALA_DATABASE.KUDU TABLE NAME','kudu.master_addresses'='host1:7051,host2:7051','kudu.num_tablet_replicas' = '3')
AS 
Select columns* from table*

测试了不同的属性

The properties I have checked and played with are

memory_limit_hard_bytes = Checked with 0 and 1 and 250GB (Same result Tablet 
Server Crashes)

maintenance_manager_num = Checked with 1 as well as 4

已插入记录,但有时会出现此错误

报告了Kudu错误,第一次错误:超时:尝试329次后,无法将94批操作写入平板电脑842e935e768f4a419b193e1fb18e3155:无法写入服务器:2d35eb2445e747bea574a5e1af6e0bcl2a(bda-pt)。 net.pk:7050):将RPC写到192.168.228.2:7050,在179.996s(SENT)之后超时

我需要插入其他大约有1.02亿条记录的表,而且我不明白如何针对我的集群调整Kudu属性。

P.S进入Kudu表的最多记录是具有以下属性的13M,然后发生超时。

memory_limit_hard_bytes = 250GB
maintenance_manager_num = 4
block_cache_capacity_mb = 130GB    
Partitions: 4 

请帮助!

0 个答案:

没有答案