管道的数据输入来自数据库或Web记录器。 Pipeline处理它并放入HDFS并将数据移动到NoSQL数据库。监控系统将监控此端到端。
答案 0 :(得分：0)
您可以考虑使用ELK堆栈（ElasticSearch，Logstash，Kibana）。在每个节点上，摄取，处理并插入到db中，请查看是否可以添加有关要处理的每个文件/记录的日志。
您可以在每个节点上部署logstash并为其编写解析逻辑，将这些写入ElasticSearch并使用Kibana可视化。
您还可以考虑使用Elastic.co中的Watcher插件在出现错误时生成警报。
以下是一些供您入门的链接。