我使用Spring XD并创建了以下流:
stream create --name test --definition "time | hdfs --rollover=1B --directory=/xd/test --fileName=test --overwrite=true" --deploy
流生成许多文件。每个文件名都包含名称和附加编号,例如test-0.txt,test-1.txt,test-2.txt等。
因为我使用Spring XD和Hadoop用于教育目的,我想节省硬盘的可用空间。所以,我想覆盖这些数据。可以从文件名中删除上述数字吗?
答案 0 :(得分:0)
翻转大小1B太小,无法累积正在创建的文件数。您可以根据处理的数据设置最佳大小,以控制创建的文件数。
有关控制属性的更多选项,您可以参考this question