Question

我提交了一个大小为1 GB的文件，我想将此文件拆分为大小为100MB的文件。我怎么能从命令行执行此操作。我正在寻找像这样的命令：

hadoop fs -split --bytes=100m /user/foo/one_gb_file.csv /user/foo/100_mb_file_1-11.csv

有没有办法在HDFS中做到这一点？

Answer 1

在HDFS中，我们不能指望unix中可用的所有功能。当前版本的hadoop fs实用程序不提供此功能。可能是我们将来可以期待的。你可以在hdfs中添加一个bug（改进apache Jira）。

现在你必须用Java编写自己的实现。