当我配置配置单元挂钩并在配置单元中创建表时,该配置表不会自动添加到地图集中,并且不会出现在地图集配置单元表实体中

时间:2019-02-18 07:35:23

标签: hive apache-kafka hortonworks-data-platform atlas

我通过以下方式在hive-site.xml中为地图集配置了hive钩子:

atlas.hook.hive.synchronous = true

hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook

atlas.cluster.name = dpf

我使用ambari进行配置

创建了两个kafka主题:ATLAS_ENTITIESATLAS_HOOK

例如,当我在蜂巢中创建表时:

create table br(full_name string, ssn string, location string);

然后运行以下命令:

/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_HOOK --from-beginning

我看到用于创建表br的文本的json格式。这意味着配置单元将数据发送到ATLAS_HOOK主题,并且可以正常工作。

但是当我运行此命令时:

/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_ENTITIES --from-beginning

br表上什么也没看到。

为什么表格未出现在Atlas Hive表格中?怎么了?

注意:

当我使用import-hive.sh在地图集中手动导入配置单元元数据时,我在两个kafka主题(brATLAS_ENTITIES)和{{1}中看到有关ATLAS_HOOK表的信息}表出现在地图集中。但是自动会不起作用

0 个答案:

没有答案