如何将文件内容分发到多个节点？

Question

我需要通过网络分发文件的内容（最多5 GB），以便文件的每个分布式节点（XML或简单文件）都不会复制数据并相互同步。 / p>

更重要的是，可能有超过1000个大文件需要在分发流程中进行。

我可以使用Hadoop HDFS存储大文件并将群集节点用于分布式数据吗？

Answer 1

是的，这正是HDFS的用途。如果您不想复制，可以轻松控制复制因子，但通常建议使用2+的复制因子来实现某些高可用性。