标签: hadoop bigdata
我想将一个大文件放入Hadoop文件系统。它将以64 mb(或128mb)的块进行拆分,尽管属于特定文件,但这些块很可能沿着集群中的不同节点分布。
我知道hadoop符合无共享范式,因此不共享内存。如果某个节点想要详细说明初始文件,它会将每个64mb(或128mb)块从发送各种块的节点复制到本地内存中吗?
ps:当文件在64 mb(或128mb)块中分割时,它会被简单地截断为64 mb(或128mb)的倍数或者应用其他一些过程吗?