Question

将数据写入空气动力学集群时我遇到了一个奇怪的问题

aql> insert into storebig.Chunks (PK,Data) values ('5cb138284d431abd6a053a56625ec088bfb88912', '1234567890')                                                          
OK, 1 record affected.

aql> select * from storebig.Chunks where PK = '5cb138284d431abd6a053a56625ec088bfb88912'
Error: (2) AEROSPIKE_ERR_RECORD_NOT_FOUND

aql> insert into storebig.Chunks (PK,Data) values ('5cb138284d431abd6a053a56625ec088bfb88912', '1234567890')
Error: (1) AEROSPIKE_ERR_SERVER

与golang客户端库（当然）相同的故事

群集很可能不健康 - 服务器日志中会出现一些奇怪的消息：

May 06 2015 12:17:49 GMT: WARNING (drv_ssd): (drv_ssd.c::1236) read: read wrong key: expecting de6f0bc93bfdf560 got 8ad3dd7fce1ac7ec
May 06 2015 12:17:49 GMT: WARNING (drv_ssd): (drv_ssd.c::1236) read: read wrong key: expecting de6f0bc93bfdf560 got 8ad3dd7fce1ac7ec
May 06 2015 12:17:50 GMT: WARNING (drv_ssd): (drv_ssd.c::1230) read: bad block magic offset 29843600384
May 06 2015 12:17:50 GMT: WARNING (drv_ssd): (drv_ssd.c::1230) read: bad block magic offset 29843600384

我的问题是：如何调查情况，调试和恢复？在哪里看以及尝试什么？

谢谢。

最诚挚的问候，丹尼尔波多尔斯基

更新

配置模板（在docker container start上从此模板生成的实际配置）

service {
  user root
  group root
  paxos-single-replica-limit 1
  pidfile /var/run/aerospike/asd.pid
  service-threads 4
  transaction-queues 4
  transaction-threads-per-queue 4
  proto-fd-max 15000
}

logging {
  file /storage/logs/aerospike.log {
    context any info
  }
  console {
    context any info
  }
}
network {
  service {
    address <%=os.getenv("NODE_EXT_ADDR")%>
    port 3000
  }
  fabric {
    address <%=os.getenv("NODE_INT_ADDR")%>
    port 3001
  }
  heartbeat {
    mode multicast
    address 239.1.99.2
    port 9918
    interface-address <%=os.getenv("NODE_INT_ADDR")%> interval 150
    timeout 10
  }
  info {
    address <%=os.getenv("NODE_INT_ADDR")%>
    port 3003
  }
}
namespace storebig {
  replication-factor 3
  memory-size <%=os.getenv("MEM_USE_BIG")%>K
  default-ttl 0
  high-water-disk-pct   98
  high-water-memory-pct 98
  stop-writes-pct       95
  storage-engine device {
    file /storage/data/big.dat
    filesize 3T
    data-in-memory false
  }
}
namespace storefast {
  replication-factor 3
  memory-size <%=os.getenv("MEM_USE_FAST")%>K
  default-ttl 0
  high-water-disk-pct   98
  high-water-memory-pct 98
  stop-writes-pct       95
  storage-engine device {
    file /storage/data/fast.dat
    filesize <%=os.getenv("MEM_USE_FAST")%>K
    data-in-memory true
  }
}
namespace storetest {
  replication-factor 3
  memory-size <%=os.getenv("MEM_USE_FAST")%>K
  default-ttl 0
  high-water-disk-pct   98
  high-water-memory-pct 98
  stop-writes-pct       95
  storage-engine device {
    file /storage/data/test.dat
    filesize 3T
    data-in-memory false
  }
}

Answer 1

阅读完您的配置后，我相信我找到了您的问题。 Aerospike中的各个设备和文件不能超过2TiB，而您的配置为3TiB。遗憾的是，目前还没有针对此限制检查配置解析器，我无法在我们的文档中找到参考 - 这两个问题都得到了解决。

您可以使用多个文件来存储每个命名空间的数据（每个文件限制为2TB）。作为discussed elsewhere，您可能会通过为给定命名空间使用多个文件或设备来获得更好的性能。

Answer 2

阅读Aerospike手册，对设备尺寸没有限制。仅适用于文件大小（最大2TB）

手册：

SSD存储引擎的配方 SSD命名空间的最小配置需要将存储引擎设置为设备，并为此命名空间使用的每个SSD添加设备参数。此外，可能需要将内存大小从默认值4GB更改为适合预期主索引大小的大小。有关确定主要索引大小的帮助，请参阅“大小调整指南”。为了提高性能，我们建议在SSD支持的命名空间上将写入块大小从默认值1MB减少到128 Kb。

内存数据的HDD存储引擎配方 具有Data-in-Memory命名空间的HDD的最小配置涉及将存储引擎设置为设备，将内存中的数据设置为true，最后提供文件参数列表以指示数据将被保留的位置。文件大小也需要足够大以支持磁盘上数据的大小（允许的最大值为2 TiB）。最后，内存大小可能需要从默认值4GB调整到适合处理预期主索引大小和内存中数据的预期大小的大小。有关调整文件大小或内存大小的帮助，请参阅我们的大小调整指南。

INSERT之后的AEROSPIKE_ERR_RECORD_NOT_FOUND

2 个答案: