Question

我正在尝试使用auto_bootstrap：true选项将新节点添加到现有的Cassandra 3.11.1.0集群中。新节点完成了其他节点数据的流传输，辅助索引的构建以及主表的压缩过程，但此后它似乎停留在 JOINING 状态。节点的system.log中没有错误/警告-仅 INFO 消息。

此外，在二级索引构建和紧凑过程中，节点上的CPU负载很大，现在没有了。因此，看起来该节点在引导过程中被卡住并且当前处于空闲状态。

# nodetool status
Datacenter: dc1
===============
Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
--  Address         Load       Tokens       Owns    Host ID                               Rack
UN  XX.XX.XX.109  33.37 GiB  256          ?       xxxx-9f1c79171069  rack1
UN  XX.XX.XX.47   35.41 GiB  256          ?       xxxx-42531b89d462  rack1
UJ  XX.XX.XX.32   15.18 GiB  256          ?       xxxx-f5838fa433e4  rack1
UN  XX.XX.XX.98   20.65 GiB  256          ?       xxxx-add6ed64bcc2  rack1
UN  XX.XX.XX.21   33.02 GiB  256          ?       xxxx-660149bc0070  rack1
UN  XX.XX.XX.197  25.98 GiB  256          ?       xxxx-703bd5a1f2d4  rack1
UN  XX.XX.XX.151  21.9 GiB   256          ?       xxxx-867cb3b8bfca  rack1

nodetool compactionstats显示有一些压缩待处理，但是我不知道是否有活动或卡住了：

# nodetool compactionstats
pending tasks: 4
- keyspace_name.table_name: 4

nodetool netstats表明，对Small / Gossip消息的已完成请求计数器正在增加：

# nodetool netstats
Mode: JOINING
Bootstrap xxxx-81b554ae3baf
    /XX.XX.XX.109
    /XX.XX.XX.47
    /XX.XX.XX.98
    /XX.XX.XX.151
    /XX.XX.XX.21
Read Repair Statistics:
Attempted: 0
Mismatch (Blocking): 0
Mismatch (Background): 0
Pool Name                    Active   Pending      Completed   Dropped
Large messages                  n/a         0              0         0
Small messages                  n/a         0         571777         0
Gossip messages                 n/a         0         199190         0

nodetool tpstats显示CompactionExecutor，MigrationStage，GossipStage池的Completed请求计数器正在增加：

# nodetool tpstats
Pool Name                         Active   Pending      Completed   Blocked  All time blocked
ReadStage                              0         0              0         0                 0
MiscStage                              0         0              0         0                 0
CompactionExecutor                     0         0            251         0                 0
MutationStage                          0         0         571599         0                 0
MemtableReclaimMemory                  0         0             98         0                 0
PendingRangeCalculator                 0         0              7         0                 0
GossipStage                            0         0         185695         0                 0
SecondaryIndexManagement               0         0              2         0                 0
HintsDispatcher                        0         0              0         0                 0
RequestResponseStage                   0         0              6         0                 0
ReadRepairStage                        0         0              0         0                 0
CounterMutationStage                   0         0              0         0                 0
MigrationStage                         0         0             14         0                 0
MemtablePostFlush                      0         0            148         0                 0
PerDiskMemtableFlushWriter_0           0         0             98         0                 0
ValidationExecutor                     0         0              0         0                 0
Sampler                                0         0              0         0                 0
MemtableFlushWriter                    0         0             98         0                 0
InternalResponseStage                  0         0             11         0                 0
ViewMutationStage                      0         0              0         0                 0
AntiEntropyStage                       0         0              0         0                 0
CacheCleanupExecutor                   0         0              0         0                 0

Message type           Dropped
READ                         0
RANGE_SLICE                  0
_TRACE                       0
HINT                         0
MUTATION                   124
COUNTER_MUTATION             0
BATCH_STORE                  0
BATCH_REMOVE                 0
REQUEST_RESPONSE             0
PAGED_RANGE                  0
READ_REPAIR                  0

因此，看来节点仍在从其他节点接收某些数据并应用该数据，但我不知道如何检查进度，我应该等待还是取消引导。我已经尝试重新引导该节点，并遇到以下情况：节点处于 UJ 状态的时间很长（16小时），有一些待处理的压缩和99.9％的CPU空闲。另外，大约一个月前，我已将节点添加到群集中，并且没有任何问题-节点在2-3小时内加入并处于 UN 状态。

nodetool cleanup也正在该节点上的一个现有节点上运行，我在system.log中看到以下警告：

**WARN  [STREAM-IN-/XX.XX.XX.32:46814] NoSpamLogger.java:94 log Spinning trying to capture readers [BigTableReader(path='/var/lib/cassandra/data/keyspace_name/table_name-6750375affa011e7bdc709b3eb0d8941/mc-1117-big-Data.db'), BigTableReader(path='/var/lib/cassandra/data/keyspace_name/table_name-6750375affa011e7bdc709b3eb0d8941/mc-1070-big-Data.db'), ...]**

由于清理是本地过程，因此它在引导过程中不会影响新节点。但是我可能是错的。

任何帮助将不胜感激。

Answer 1

有时候这可能发生。八卦沟通可能存在问题，表明加入已完成，或者另一个节点很快报告为DN并中断了该过程。

发生这种情况时，您有两种选择：

您始终可以停止节点，擦除它，然后尝试再次加入它。
如果您确定所有（或大部分）数据都在那里，则可以停止该节点，并在auto_bootstrap: false的cassandra.yaml中添加一行。该节点将启动，加入集群并提供其数据。对于此选项，通常最好在节点启动后进行修复。

Answer 2

仅Auto_bootstrap：在新节点的cassandra.yaml上为false。然后重新启动该节点。它将作为联合国加入。一段时间后，请进行全面维修，以确保一致性。

Cassandra节点处于Joining状态

2 个答案: