hadoop自动复制输入文件不在HDFS上吗？

Question

使用hadoop流媒体：

hadoop jar hadoop/contrib/streaming/hadoop-streaming-1.0.3.jar -file mapper.rb -mapper mapper.rb -file reducer.rb -reducer reducer.rb -input textfile.txt -output output

假设我所在的目录是“/ home / user / sei / Documents”和textfile.txt

1) is in the same folder as the directory I am currently in 
2) I did not use -copyFromLocal to put textfile.txt into HDFS

hadoop是否自动将输入文件（在本例中为textfile.txt）复制到HDFS上的某个位置（即执行时自动“/user/sei/textfile.txt”）以用于处理？这是否适用于hadoop命令的所有情况（即hadoop jar jarfile myfilename ）

Answer 1

不，它不会将记录复制到HDFS中，您必须自己完成。如果您在一台计算机上运行单个节点或伪分布式群集，则应该可以使用本地文件路径。但是，如果您正在运行分布式集群，则映射器和缩减器将无法找到该文件。