伪分布式Hadoop

时间:2017-04-03 06:17:04

标签: hadoop

我在Mac&amp ;;中安装了伪分布式模式 Hadoop 2.7.3 完成了多视图中指定的所有配置。我将 Csv文件从Local复制到hdfs。但是第二天,当我搜索文件时,它不会出现在hdfs中并自动删除。是否有任何其他conf设置,以便我的文件不会丢失?

core-site.xml

<configuration> 
   <property> 
      <name>fs.defaultFS</name> 
      <value>hdfs://localhost:9000</value> 
   </property> 
</configuration>

HDFS-site.xml中

<configuration> 
   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

谢谢,

1 个答案:

答案 0 :(得分:0)

将这些属性添加到hdfs-site.xml

<property> 
   <name>dfs.namenode.name.dir</name> 
   <value>/home/username/hadoop-dfs/name</value> 
</property>
<property> 
   <name>dfs.datanode.data.dir</name> 
   <value>/home/username/hadoop-dfs/data</value> 
</property>

默认情况下,元数据和数据块存储在/tmp下,因为它是hadoop.tmp.dir的值。重启时删除/tmp内的内容。

添加这些属性后,格式化namenode并启动服务。