我有一个阶段数据库，可以提取来自不同csv文件的注册表，我需要找到一种方法，使其更好地工作，从批处理转移到在线。一种方法是使用REST表示公开摄取，并使用一些排队解决方案将其提取回来，以便控制传入请求的吞吐量并对其进行调整。但是，由于处理这个问题的实际方法很成问题，我还想改变它。
所以我考虑引入一个容忍时间，我检查注册表是否一致，直到时间限制我删除该数据并通知负责不一致数据的第三方。有什么考虑吗？
关于Data Staging表中的数据。我不确定在ETL使用后删除登台数据的更好方法是什么。我不确定使用像Control-M这样的调度程序是一个很好的解决方案，还是有另一种方法，但我总是支持解耦解决方案。这就是为什么我想听听它。了解什么有效。
我读了这篇文章https://www.timmitchell.net/etl-best-practices/，但我仍然需要一些关于现实世界实践的见解。