cassandra有状态设置在kubernetes

时间:2017-11-04 01:15:43

标签: cassandra kubernetes statefulset

我一直在尝试使用google cassandra图像在kubernetes中设置一个冗余的有状态集,如kubernetes 1.7 documentation所示。

根据image used它是一个具有一致性等级的有状态集。 在我的测试示例中,我使用复制因子为3的SimpleStrategy复制,因为我只在一个数据中心的有状态集中设置了3个副本。 我已经将cassandra-0,cassandra-1,cassandra-2定义为种子,所以都是种子。

我创建了一个键空间和一个表:

"create keyspace if not exists testing with replication = { 'class' : 'SimpleStrategy', 'replication_factor' : 3 }"

"create table testing.test (id uuid primary key, name text, age int, properties map<text,text>, nickames set<text>, goals_year map<int,int>, current_wages float, clubs_season tuple<text,int>);"

我正在测试从另一个不相关的pod插入数据,使用cqlsh二进制文件,我可以看到数据最终在每个容器中,因此复制成功。 所有pod上的nodetool状态都会出现:

Datacenter: DC1-K8Demo
======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.16.0.161  71.04 KiB  32           100.0%            4ad4e1d3-f984-4f0c-a349-2008a40b7f0a  Rack1-K8Demo
UN  10.16.0.162  71.05 KiB  32           100.0%            fffca143-7ee8-4749-925d-7619f5ca0e79  Rack1-K8Demo
UN  10.16.2.24   71.03 KiB  32           100.0%            975a5394-45e4-4234-9a97-89c3b39baf3d  Rack1-K8Demo

...并且所有cassandra pod在之前创建的表中具有相同的数据:

 id                                   | age | clubs_season | current_wages | goals_year | name     | nickames | properties
--------------------------------------+-----+--------------+---------------+------------+----------+----------+--------------------------------------------------
 b6d6f230-c0f5-11e7-98e0-e9450c2870ca |  26 |         null |          null |       null | jonathan |     null | {'goodlooking': 'yes', 'thinkshesthebest': 'no'}
 5fd02b70-c0f8-11e7-8e29-3f611e0d5e94 |  26 |         null |          null |       null | jonathan |     null | {'goodlooking': 'yes', 'thinkshesthebest': 'no'}
 5da86970-c0f8-11e7-8e29-3f611e0d5e94 |  26 |         null |          null |       null | jonathan |     null | {'goodlooking': 'yes', 'thinkshesthebest': 'no'}

但后来我删除了其中一个db副本pods(cassandra-0),一个新的pod再次按照预期弹出,一个新的cassandra-0(感谢kubernetes!),我现在看到所有的pod都丢失了一个这三行:

 id                                   | age | clubs_season | current_wages | goals_year | name     | nickames | properties
--------------------------------------+-----+--------------+---------------+------------+----------+----------+--------------------------------------------------
 5fd02b70-c0f8-11e7-8e29-3f611e0d5e94 |  26 |         null |          null |       null | jonathan |     null | {'goodlooking': 'yes', 'thinkshesthebest': 'no'}
 5da86970-c0f8-11e7-8e29-3f611e0d5e94 |  26 |         null |          null |       null | jonathan |     null | {'goodlooking': 'yes', 'thinkshesthebest': 'no'}

...现在提出了nodetool状态:

 Datacenter: DC1-K8Demo
======================
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address      Load       Tokens       Owns (effective)  Host ID                               Rack
UN  10.16.0.161  71.04 KiB  32           81.7%             4ad4e1d3-f984-4f0c-a349-2008a40b7f0a  Rack1-K8Demo
UN  10.16.0.162  71.05 KiB  32           78.4%             fffca143-7ee8-4749-925d-7619f5ca0e79  Rack1-K8Demo
DN  10.16.2.24   71.03 KiB  32           70.0%             975a5394-45e4-4234-9a97-89c3b39baf3d  Rack1-K8Demo
UN  10.16.2.28   85.49 KiB  32           69.9%             3fbed771-b539-4a44-99ec-d27c3d590f18  Rack1-K8Demo

...不应该将cassandra环复制到新创建的pod中,并且在所有cassandra pod中仍然有3行?

...... github记录了这种经验。

...有人试过这种经验,在这个测试环境中可能出现什么问题?

提前非常感谢

1 个答案:

答案 0 :(得分:2)

我认为在关闭节点之后,您需要通知群集中的其他对等方节点已经死亡并且需要更换。

为了获得正确的测试用例,我会推荐一些reading