设置20TB存储：使用普通文件系统或hadoop

Question

我是一名年轻的研究员，并计划购买计算服务器（可能是＆＃34;大＆＃34;）数据分析。服务器将具有20TB硬盘空间。我目前的问题是我应该使用普通的linux文件系统还是hadoop hdfs作为系统。有人会对这两种选择的利弊进行解释吗？

Answer 1

在单个节点（一台服务器）上安装HDFS毫无意义。 HDFS完全是关于分发数据，以便计算任务在数据附近运行，并且具有冗余的数据副本以便能够容忍硬件故障。单个节点不会提供单一的HDFS优势。如果你有一台集群的机器（例如10台服务器），那么你可以问这个问题。因此，HDFS不是一种选择。