我通过以下方式在hive-site.xml中为地图集配置了hive钩子:
atlas.hook.hive.synchronous = true
hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook
atlas.cluster.name = dpf
我使用ambari进行配置
创建了两个kafka主题:ATLAS_ENTITIES
和ATLAS_HOOK
例如,当我在蜂巢中创建表时:
create table br(full_name string, ssn string, location string);
然后运行以下命令:
/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_HOOK --from-beginning
我看到用于创建表br
的文本的json格式。这意味着配置单元将数据发送到ATLAS_HOOK
主题,并且可以正常工作。
但是当我运行此命令时:
/usr/hdp/2.6.5.0-292/kafka/bin/kafka-console-consumer.sh --zookeeper dlm01.sic:2181,dlm02.sic:2181,dlm03.sic:2181 --topic ATLAS_ENTITIES --from-beginning
在br
表上什么也没看到。
为什么表格未出现在Atlas Hive表格中?怎么了?
注意:
当我使用import-hive.sh在地图集中手动导入配置单元元数据时,我在两个kafka主题(br
,ATLAS_ENTITIES
)和{{1}中看到有关ATLAS_HOOK
表的信息}表出现在地图集中。但是自动会不起作用