Question

我正在尝试在Mac上设置Hadoop 3.1.1。

任何建议我需要在etc文件和libexe / sbin内部编辑哪些文件？

我要在里面写些什么

Answer 1

如果您只是想在Mac上安装Hadoop 3.1.1，则

选项1：

先决条件：安装HomeBrew

/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
通过brew info hadoop在Homebrew中可以检查Hadoop。可能表明版本3.1.1是稳定的。
通过brew install hadoop安装Hadoop。这将安装Hadoop 3.1.1及其所有依赖项。

选项2 ：

从Apache网站手动下载Hadoop 3.1.1并手动更新配置。

先决条件：安装Java
从Apache Mirror网站https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz下载Hadoop Binary软件包
对于伪分布式模式，请导出JAVA_HOME。
更新这些配置

编辑 etc / hadoop / core-site.xml：

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

etc / hadoop / hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration>

设置无密码ssh 现在检查您是否可以在不使用密码的情况下SSH到本地主机：

$ ssh本地主机如果没有密码就无法SSH到localhost，请执行以下命令：

$ ssh-keygen -t rsa -P''-f〜/ .ssh / id_rsa $ cat〜/ .ssh / id_rsa.pub >>〜/ .ssh / authorized_keys $ chmod 0600〜/ .ssh / authorized_keys

然后， 6. 格式化文件系统：

 $ bin/hdfs namenode -format