Question

从Hive外部表查询Kafka流时，我们在Beeline中超时。查看配置单元服务器日志中的错误消息

2019-05-01T14：27：09,725警告[pool-226-thread-1] kafka.RetryUtils：
在1,353毫秒内重试（5之1）。 java.lang.NoSuchMethodError： org.apache.kafka.clients.consumer.KafkaConsumer.partitionsFor（Ljava / lang / String;）Ljava / util / List;

跟着

错误[08693181-1964-4d87-bf5a-7d628b4f9e43 HiveServer2-HttpHandler-Pool：Thread-89] kafka.KafkaInputFormat：可以无法生成完整的扫描拆分

尝试发送更简单的JSON结构

尝试使用表属性和不使用表属性

“ kafka.serde.class” =“ org.apache.hadoop.hive.serde2.JsonSerDe”，

CREATE EXTERNAL TABLE rs_table2
(id int,
first_name string,
last_name string)
STORED BY 'org.apache.hadoop.hive.kafka.KafkaStorageHandler'
TBLPROPERTIES
("kafka.topic" = "xxxxx", 
"kafka.bootstrap.servers"="xxxxxx:9092",
"kafka.consumer.group.id"="1", 
"session.timeout.ms"="30000",
"kafka.serde.class"="org.apache.hadoop.hive.serde2.JsonSerDe",
"kafka.consumer.partition.assignment.strategy"="range"
);

我希望查询在流中输出数据

出现错误kafka.KafkaInputFormat：无法生成完整扫描拆分

0 个答案: