Question

我正在使用本教程设置第一个hadoop项目：

http://hadoop.apache.org/docs/r0.18.3/mapred_tutorial.html#Source+Code

我对此部分感到困惑：

Sample text-files as input:

$ bin/hadoop dfs -ls /usr/joe/wordcount/input/ 
/usr/joe/wordcount/input/file01 
/usr/joe/wordcount/input/file02 

$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file01 
Hello World Bye World 

$ bin/hadoop dfs -cat /usr/joe/wordcount/input/file02 
Hello Hadoop Goodbye Hadoop

如何创建文件file01和file02？

当我运行上面的命令（）时，我收到错误：“文件不存在/ usr / joe / wordcount / input / file01”

Answer 1

您可以使用文件编辑器在cygwin上创建文件，vim或emacs（不确定）。

或者您可以复制下面的粘贴来创建文件。

echo "Hello World Bye World" >  /usr/joe/wordcount/input/file01
echo "Hello Hadoop Goodbye Hadoop" > /usr/joe/wordcount/input/file02

还有其他更多的巴洛克技术可以将简单的数据放入文件中，但是根据您的问题定义，这应该可以正常工作。

（另一种可能性，......这些文件可能是测试或教程安装的一部分而你错过了运行安装的步骤吗？如果你创建了这些文件，并且遇到了新的错误消息，请考虑使用dbl - 检查步骤以确认所有安装正确）

IHTH

Answer 2

你指着同样的道路吗？否则，从本地文件系统创建文件。然后使用copyFromLocal命令将其放入HDFS。然后cat文件路径/文件名。这很有效。

bin/hadoop fs -copyFromLocal /path/to/file/in/localfilesys/file01 /usr/joe/wordcount/input
bin/hadoop fs -cat /usr/joe/wordcount/input/file01

使用cygwin和hadoop创建文件

2 个答案: