如何扩展Apache Atlas

时间:2018-11-21 07:03:15

标签: apache horizontal-scaling apache-atlas

图集文档中没有提供有关如何缩放比例的信息。

Apache atlas在后端可以连接到cassandra或hbase,但可以扩展,但是我不知道apache atlas引擎(其余Web服务和请求处理器)如何可以扩展。

我可以在不同的计算机上安装它的多个实例,并在其前面安装负载均衡器以发出请求。但是这个模型有帮助吗?它会执行任何形式的锁定并执行db事务,以便该模型不起作用。

有人知道Apache Atlas是如何扩展的吗?

谢谢。

2 个答案:

答案 0 :(得分:0)

因此Apache Atlas在后台运行Kafka作为消息队列,根据我的经验,他们设计Kafka队列的方式(消费者组说您应该只有一个消费者)才是瓶颈。

不仅如此,当您查看代码时,消费者对经纪人的轮询时间为1秒,被硬编码到消费者中。将这两者放在一起,这意味着如果消费者无法在那一秒内处理来自各种生产者(HIVE,Spark等)的消息,则代理将与唯一的消费者脱离联系,并等待不存在的消费者拿起邮件...

我需要设计类似的东西,但是据我所知...

希望能有所帮助...

答案 1 :(得分:0)

请参阅此页面。 http://atlas.apache.org/#/HighAvailability

Atlas不支持实际的水平向外扩展。 所有请求均由“活动实例”处理。 “被动实例”只是将所有请求转发到“主动实例”。