巨大的文件如何从HDFS外部生成？

Question

我是一个完全的新手，试图了解Hadoop和MapReduce。我了解HDFS可以存储一个巨大的文件，例如通过将其分成可管理大小的块来达到1 PB。我不明白的是，由于无法将如此大的文件存储在HDFS之外的HDD上，因此它可能在哪里产生和传输？

Answer 1

它通常不是来自单个HDD，而是通常来自安装在服务器/集群上的RAID或JBOD磁盘池，更多地是来自一个或多个数据库。

它不必是“一个文件”，它可以是许多文件，它们共同组成数据库表，文档，图片，mp3，视频等。