与Ec2MultiRegionSnitch的Cassandra架构协议

时间:2014-06-05 11:05:19

标签: amazon-ec2 cassandra astyanax amazon-vpc

我被我的多数据中心cassandra集群所遇到的问题困扰了。它是一个由六个节点组成的全新集群(三个在欧洲西部,三个在我们 - 西部 - 2)。安全组被配置为使得每个节点可以与其他节点的外部IP通信。监听地址定义为本地VPC IP,广播地址设置为每个节点的公共IP。

一切似乎都好:

Datacenter: us-west-2
=====================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Owns (effective)  Host ID                               Token                                    Rack
UN  (public ip)  121.3 KB   100.0%            b15c18bf-1689-4308-bbe2-d36d38f7c8ea  -9103428429654321414                     2b
UN  (public ip)  46.57 KB   100.0%            89378b79-4228-4b44-a3e3-c6d2f3bbd368  -9174198879812166340                     2b
UN  (public ip)  46.58 KB   100.0%            4cbd586f-963c-4339-abaa-af313e023abe  -9223053993127788404                     2b

Datacenter: eu-west
===================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address        Load       Owns (effective)  Host ID                               Token                                    Rack
UN  (public ip)  46.59 KB   100.0%            2aad2d39-0099-4ae3-ae46-a1558b1b657c  -9163190464402129696                     1c
UN  (public ip)  98.55 KB   100.0%            94748d93-cf56-4cde-8b44-f75d17b41924  -9211541808465956929                     1c
UN  (public ip)  84.5 KB    100.0%            3cdeba13-3026-4a1b-a8d1-63eef25049cb  -9196529642979836746                     1c

所以,我创建了我需要的键空间。

但是,当我尝试将我的thrift应用程序连接到群集时,我会看到来自Astyanax的以下错误:

Caused by: com.netflix.astyanax.connectionpool.exceptions.SchemaDisagreementException: 
    SchemaDisagreementException: [host=(internal ip):9160, latency=10002(10007), 
    attempts=1] Can't change schema due to pending schema agreement

我认为这是因为新的密钥空间没有正确复制到其他节点,但我无法解决原因。如果我运行nodetool describecluster,它会给我这个(请记住我使用Ec2MultiRegionSnitch,但出于某种原因,这显示为DynamicEndpointSnitch):

Cluster Information:
Name: mycluster_multiregion
Snitch: org.apache.cassandra.locator.DynamicEndpointSnitch
Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
Schema versions:
    UNREACHABLE: [(public IP of this node)]

    f9de7b22-1486-37c6-8487-801 [(list of other node public IPs)]

每个节点都是一样的 - 它认为自己无法访问。这在技术上是正确的;在EC2 VPC中,由于NAT,节点不可能使用其公共IP与自身通信。但是,我不确定这是否会导致我的架构分歧问题,如果是,我不确定这是一个简单的解决方案。

任何洞察力都赞赏!

1 个答案:

答案 0 :(得分:1)

如此处所述 http://nsinfra.blogspot.in/2013/06/cassandra-schema-disagreement-problem.html

你可以尝试使用NTP同步时钟吗?

来自AWS文档 - 配置网络时间协议(NTP) 默认情况下,在Amazon Linux实例上配置网络时间协议(NTP);但是,实例需要访问Internet才能使标准NTP配置生效。本节中的过程说明如何验证默认NTP配置是否正常工作。如果您的实例无法访问Internet,则需要配置NTP以查询专用网络中的其他服务器以保持准确的时间

可能对于EC2 VPC,您需要配置NTP以使用AWS时间服务器(x.amazon.pool.ntp.org)