存储用例＆＃34;记录+图像+元数据＆＃34;

Question

我有以下用例，我试图找到最佳使用filsystem，数据库（rdbms或noSql解决方案的味道）。欢迎任何建议，因为我想看看什么是最佳的。

1. 客户端应用程序：将生成1-3秒的日志间隔。按日志我的意思是结构化日志数据（关于连接，使用的应用程序，使用的进程，屏幕截图等）。一些日志数据将被结构化，一些将是非结构化的（因此架构可以改变）。
2. 存储解决方案：需要非常快速地保留所有这些数据。将坐在1- *服务器上。如果它是文件系统/ rdbms /（任何合适的风格）noSql之间的混合解决方案并不重要。
3. 后期处理：数据需要查询。例如。只是一个键值存储是不够的，这是一个给定的（可能截图只是是）。

作为参考，这是一个更具体的例子：

1. 用户运行客户端2-3小时（在“监控期”）。它通过线路将日志数据发送到服务器（存储）。 写入速度和数据准确性在这里至关重要。
2. 管理系统累积数据并对某些特征进行报告。如果需要，应该能够获取所有日志数据 - 但是在给定的监视周期内将对一组用户进行特定查询。此处不太需要阅读速度，但数据准确性并最终找回所有日志部分是必要的。

如果我需要提供更多信息，请告诉我。

Answer 1

如果你喜欢自己滚动而不是使用日志包，我会坚持只附加文本文件。您当然可以在Base64中编码屏幕截图并将其保存在同一个文件中，但我宁愿将其单独存储在文件系统中，并在日志中存储生成的文件名。

对于报告，您显然可以通过文本编辑器阅读它，但如果您需要更复杂和定期的管理报告，则可以创建仅将您报告的信息的ETL导入RDBMS。如果您决定稍后需要更多信息，可以随时返回并重新运行ETL。