Falcon在Hadoop生态系统中的角色

时间:2015-02-24 07:03:34

标签: hadoop hdfs bigdata hortonworks-data-platform apache-falcon

我应该在集群镜像上工作,我必须将现有的HDFS集群(相同的主服务器和从服务器)设置为相同的HDFS集群,然后将数据复制到新服务器,然后按原样运行相同的工作。

我已经读过有关falcon作为Feed处理和工作流协调工具的信息,它也用于镜像HDFS集群。有人可以告诉我Falcon在Hadoop生态系统中的角色是什么,特别是它如何帮助镜像。我正在这里了解当它是我的Hadoop生态系统(HDP)的一部分时所有的facon提供。

1 个答案:

答案 0 :(得分:2)

  • Apache Falcon通过以下方式简化了数据运动的配置:生命周期管理;血统和可追溯性。这为Hadoop组件提供了数据治理一致性。
  • Falcon复制与delta更改异步。通过运行进程并交换源和目标来完成恢复。
  • 数据丢失 - 如果主群集完全关闭,Delta数据可能会丢失
  • 根据带宽和网络可用性,可根据需要安排备份。