记录器/数据存储建议

Question

我正在为以下情况寻求建议：我们提供的服务在较高层次上由提供API和Web UI请求（后者不太重要）的前端Web应用程序组成-分解，将它们作为任务放入队列中进行处理，以及许多工作人员服务从队列中使用任务并对其进行处理。 API客户端将异步轮询结果。

我们需要能够沿途记录信息片段（从原始请求开始，通过中间输出，直到最终结果），以便以后可以在需要时对其进行访问（主要是解决给定问题的原因）请求）。

最终，我们需要的是：

• 用作与日志记录和短期审核有关的信息的安全存储，
• 低开销插入：
  • （低）恒定时间插入，无论是真正的非阻塞还是有效的非阻塞（保证快速），
  • 非常频繁的插入–考虑每个CF API调用多次插入
• 检索的使用频率明显降低，可能会变慢，
• 至少需要通过ID才能检索商品，但是...
• 有效载荷实际上是文本或二进制
  • 全文搜索功能将是一个加分，
  • 了解文本的结构，例如能够查询JSON 元素是一种温和的搭配，
• 内置或易于实施的数据保留策略。

“安全”是指我们在多个国家/地区处理个人信息，适用通常的法规/标准。

这可以是我们自己托管的软件（开源，可在商业环境中使用）或Amazon AWS服务。

Answer 1

结帐，作为您的应用程序的基础，在Sourceforge.net上启用sherlock，它是Log4J实现的开放源代码，您可以根据需要进行修改，例如，将无头tomcat服务器容器化，这是“托管链”“ C2”符合syslog和syslogrelay数据的Rsyslog替换服务器收集器，该服务器收集器首先将日志存储为每个源的平面文件，然后发布进程并将日志数据转储到mysql db中，此后还有一个较旧的Web客户端，该客户端具有一些正则表达式支持来搜索/过滤数据，以便您获取取证的日志数据。

把这些与我结合在一起的人来自Platespin（后来卖给了Novell），实际上，构建此代码的团队在构建它时就成功地以体面的现金出售了一份引人入胜的作品，然后继续工作用于Tibco（后来的Mulesoft）和RIM（黑莓，现在是BMO）...因此其可靠的代码

这是链接...

https://sourceforge.net/projects/sherlock/

r2