我是Qubole的新手,想知道Hadoop群集关闭后数据是否仍然在HDFS中?
感谢任何帮助。
谢谢。
答案 0 :(得分:2)
No data on HDFS is gone. We don't backup/restore HDFS. The model of computation on EC2/S3 is that the long-lived data always lives on S3 and HDFS is used only for intermediate and control data. We also use HDFS (and local disk), sometimes, as a cache.
答案 1 :(得分:0)
这取决于群集中的内容。 Hadoop,Namenode,数据节点,资源管理器,AppMaster等都有守护进程。
因此,如果Namenode关闭(主节点),则数据保持原样在群集中,但您根本无法访问它。因为,Name节点保存数据节点的元数据。
如果数据节点在群集(从节点)上关闭,则您将无法从此节点访问数据,但默认情况下,数据将存储在群集中的3个位置以实现容错。因此,您仍然可以从其他两个节点访问数据。