限制hadoop客户端不创建隐藏的校验和文件

Question

CopyToLocal命令正在创建隐藏的校验和文件。有没有办法避免这种情况的产生？

Answer 1

除非您运行的是旧版本，否则Apache Hadoop只会创建本地校验和文件，如果您选择通过传递-crc选项来创建本地校验和文件，如{HMSOP文档中所示{{3} }命令。

> hdfs dfs -copyToLocal /LICENSE.txt

> ls -lrta
drwxr-xr-x+ 131 naurc001  SWNA\Domain Users   4.3K Jan 27 09:18 ../
-rw-r--r--    1 naurc001  SWNA\Domain Users   140K Jan 27 10:11 LICENSE.txt
drwxr-xr-x    7 naurc001  SWNA\Domain Users   238B Jan 27 10:11 ./

> hdfs dfs -copyToLocal -crc /LICENSE.txt

> ls -lrta
drwxr-xr-x+ 131 naurc001  SWNA\Domain Users   4.3K Jan 27 09:18 ../
-rw-r--r--    1 naurc001  SWNA\Domain Users   140K Jan 27 10:07 LICENSE.txt
-rw-r--r--    1 naurc001  SWNA\Domain Users   1.1K Jan 27 10:07 .LICENSE.txt.crc
drwxr-xr-x    8 naurc001  SWNA\Domain Users   272B Jan 27 10:07 ./

如果您有选项，那么我建议您运行当前版本并进行测试，以确保-crc选项不会在任何地方传递。