我每天都会将日志数据上传到aws s3 bucket。有什么方法可以在某些情况下由于某些条件数据未在s3存储桶中上传而得到通知吗?
答案 0 :(得分:0)
没有针对未发生的操作的通知 - 例如S3拒绝的上传,因为内容与数据损坏,未授权访问或无效签名的Content-MD5
标头不匹配,签署请求的系统或网络连接故障或可能阻止成功上传的任何其他因素的过度时钟偏差。
这些中的一些(但不是全部)将显示在存储桶的访问日志中。
找到未发生的上传的唯一方法是使用您自己的代码,进行启发式分析以检测问题。
例如,如果系统应该发送包含序号的日志,如果日志编号 n 到达但是您没有接收日志编号 n-1的记录,则抛出警告。或者,如果日志应该每5分钟到达一次,如果没有记录到达一段时间((5 +(5×2))÷2)分钟,则发出警告。使用单独的数据库进行状态跟踪可以最好地处理这两种情况。