图集文档中没有提供有关如何缩放比例的信息。
Apache atlas在后端可以连接到cassandra或hbase,但可以扩展,但是我不知道apache atlas引擎(其余Web服务和请求处理器)如何可以扩展。
我可以在不同的计算机上安装它的多个实例,并在其前面安装负载均衡器以发出请求。但是这个模型有帮助吗?它会执行任何形式的锁定并执行db事务,以便该模型不起作用。
有人知道Apache Atlas是如何扩展的吗?
谢谢。
答案 0 :(得分:0)
因此Apache Atlas在后台运行Kafka作为消息队列,根据我的经验,他们设计Kafka队列的方式(消费者组说您应该只有一个消费者)才是瓶颈。
不仅如此,当您查看代码时,消费者对经纪人的轮询时间为1秒,被硬编码到消费者中。将这两者放在一起,这意味着如果消费者无法在那一秒内处理来自各种生产者(HIVE,Spark等)的消息,则代理将与唯一的消费者脱离联系,并等待不存在的消费者拿起邮件...
我需要设计类似的东西,但是据我所知...
希望能有所帮助...
答案 1 :(得分:0)
请参阅此页面。 http://atlas.apache.org/#/HighAvailability
Atlas不支持实际的水平向外扩展。 所有请求均由“活动实例”处理。 “被动实例”只是将所有请求转发到“主动实例”。