Nifi PutHiveStreaming正在将数据写入HDFS，但无法在Hive表中看到数据

Question

1. 我正在使用HDF Nifi 1.5和Hdp Hive 3.1。

2. 在Hive中创建分区表和存储桶表：

创建表default.client_tbl（client_key int，clt_name varchar（45），clt_description varchar（200），version int）由（clt_status varchar（8））分区，由（client_key）聚类为3个存储为ORC TBLPROPERTIES（' transactional'='true'）;

1. 使用的ExecuteSQL-> PutHiveStreaming

Nifi日志显示了写入HDFS路径的数据，但是我无法在Hive表中查看数据。

请找到nifi-app.log的附件。

Answer 1

如果您正在使用HDP Hive 3.1，则将需要PutHive3Streaming而不是PutHiveStreaming。前者用于Hive 3，后者用于Hive 1.2.x。

如上所述，Hive 3组件自NiFi 1.7.0+起可用。另外，如果您使用的是Apache NiFi发行版，则默认情况下（由于其大小）它不包括Hive 3 NAR。您必须自己构建它或使用为HDF构建的一个（用于HDP Hive 3），才能获得HDF 3.2版本（NiFi 1.7.0）版本here。