如何在Hadoop中拆分文件?

时间:2015-04-13 21:04:21

标签: linux unix hadoop mapreduce hdfs

想知道你们为了将一个碰巧在HDFS中的大文件拆分成单独的块(预先配置的大小),你会采取什么样的路径?

思考MapReduce在这里会有所帮助,并且不确定一个更香草的Unix解决方案是否会发挥最佳效果。

(需要分割文件b / c似乎在我们的结尾Sqoop不会导出文件> ~400GB)

0 个答案:

没有答案