标签: linux unix hadoop mapreduce hdfs
想知道你们为了将一个碰巧在HDFS中的大文件拆分成单独的块(预先配置的大小),你会采取什么样的路径?
思考MapReduce在这里会有所帮助,并且不确定一个更香草的Unix解决方案是否会发挥最佳效果。
(需要分割文件b / c似乎在我们的结尾Sqoop不会导出文件> ~400GB)