Question

我们在AWS上使用ML实例。我们正在使用磁盘来存储数据。我们的日志文件中遇到了很多缓慢的fsync消息

2019-07-10 00:00:01.756 Info: Memory 46% phys=31816 virt=51033(160%) rss=14950(46%) anon=13748(43%) file=2903(9%) forest=7442(23%) cache=10240(32%) registry=1(0%)
2019-07-10 00:00:02.036 Notice: Slow fsync /data/failover/Forests/test-003-1-1/Journals/Journal-20190709-235839-8921048-15627167181139510-10676271677428093868-9000702, 562.1 KB in 1.637 sec
2019-07-10 00:00:02.042 Notice: Slow fsync /data/Forests/test-modules/Label, 1.316 sec
2019-07-10 00:00:02.043 Notice: Slow fsync /data/Forests/Schemas/Label, 1.305 sec
2019-07-10 00:00:02.043 Notice: Slow fsync /data/Forests/Security/Label, 1.312 sec
2019-07-10 00:00:02.195 Notice: Slow fsync /data/Logs, 1.22 sec
2019-07-10 00:00:13.836 Warning: Slow fsync /data/failover/Forests/test-003-1-1/Label, 2.445 sec
2019-07-10 00:00:13.886 Warning: Slow msync /data/Forests/test-001-1/0000844d/Ordinals, 1 MB in 2.007 sec
2019-07-10 00:00:13.888 Notice: Slow fsync /data/failover/Forests/test-002-1-1/Label, 1.995 sec
2019-07-10 00:00:14.139 Info: Merged 444 MB in 94 sec at 5 MB/sec to /data/Forests/test-001-1/0000844b
2019-07-10 00:00:14.995 Info: Merging 690 MB from /data/Forests/test-001-1/0000844b, /data/Forests/test-001-1/00008449, /data/Forests/test-001-1/0000844a, and /data/Forests/test-001-1/0000844c to /data/Forests/test-001-1/0000844e, timestamp=15627162115706539
2019-07-10 00:00:42.740 Info: Saved 84 MB in 24 sec at 4 MB/sec to /data/failover/Forests/test-002-1-1/000041b5
2019-07-10 00:00:45.861 Info: Merged 193 MB in 58 sec at 3 MB/sec to /data/failover/Forests/test-002-1-1/000041b6

获取上述“ slow fsync”消息的原因是什么。这是否意味着磁盘速度慢或存在网络拥塞。如何找出这些消息的原因。

这是否还意味着查询执行也将缓慢进行？或其他对MarkLogic性能的影响？

Answer 1

此knowledge base article关于这些错误消息的详细信息很多。

特别是，fsync应该以毫秒为单位完成，因此看到它花费大约2.5秒才能完成是非常令人担忧的：

2019-07-10 00:00:13.836 Warning: Slow fsync /data/failover/Forests/test-003-1-1/Label, 2.445 sec

fsync的用途是“ synchronize a file's in-core state with storage device”。慢速fsync本质上意味着磁盘运行缓慢。这样的影响是直接在磁盘上读取或写入数据可能需要更长的时间。发生这种情况可能有多种原因。一些要检查的东西：

由于故障转移，该主机上是否有很多主目录林？在所有主机之间正确平衡主目录林可能会有所帮助。
慢速fsync与正在运行的查询之间是否存在关联？优化查询以减少磁盘上的文档数量可能会有所帮助。
除MarkLogic之外，该主机上是否还运行其他软件？（NodeJS应用程序，Splunk等。）让MarkLogic仅在该主机上运行可能会有所帮助。

如果您无法快速找出原因，通常与MarkLogic支持人员或您友好的社区顾问一起解决这个问题是个好主意。

MarkLogic-缓慢的Fsync通知/警告持续在错误日志文件中

1 个答案: