hadoop集群中的各种端口？

Question

我正在尝试了解各种守护进程/进程在Hadoop集群中侦听的各种端口。

芯-site.xml中

<?php
include 'Connection.php';

try { 
    $db = new PDO("$server:host=$host;dbname=$base", $user, $passwd); 
    //Indice 1
    $name = "Equilibre theorie / pratique";
    $idformation = "1";
    $valeur = $_POST["indice1"];
    $valeurtext = "";
    //Statement = INSERT INTO indice
    $stmtInd = $db->prepare("INSERT INTO indice(ID, Name, IDFormation)
        VALUES (:ID, :Name, :IDFormation)");
        $stmtInd->bindParam(':ID', $id);
        $stmtInd->bindParam(':Name', $name);
        $stmtInd->bindParam(':IDFormation', $idformation);
        $stmtInd->execute();
    //Statement = INSERT INTO note
    $stmtNote = $db->prepare("INSERT INTO note(ID, Valeur, Valeurtext, IDIndice)
        VALUES (:ID, :Valeur, :Valeurtext, :IDIndice)");
        $stmtNote->bindParam(':ID', $ID);
        $stmtNote->bindParam(':Valeur', $valeur);
        $stmtNote->bindParam(':Valeurtext', $valeurtext);
        $stmtNote->bindParam(':IDIndice', $IDindice);
        $stmtNote->execute(); 
    $noteIdindice = $db->prepare("SELECT ID FROM indice WHERE Name = :Name");
        $noteIdindice->bindParam(':Name', $name);
        $noteIdindice->execute();           
        $resultat = $noteIdindice->fetch(\PDO::FETCH_ASSOC);    
        var_dump($resultat);

    $IDindice = $resultat['ID'];

    echo "Success";
} 
catch (PDOException $e) { 
    die("Impossible de se connecter a la source de donnees..."); 
}
?>

纱-site.xml中

    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master.hadoop.cluster:54310</value>
    </property>

我看到我们还有其他三个端口：

1）50070 - ＆gt;要查看hdfs GUI
2）8088 - ＆gt;要查看RM GUI
3）8042 - ＆gt;不确定我们在这个端口可以看到哪个GUI

由于端口太多，我不清楚哪个端口适用于哪个端口。如果我向端口发出HTTP请求，比如8032，则表示这是 <property> <name>yarn.resourcemanager.address</name> <value>master.hadoop.cluster:8032</value> </property> 。

任何人都可以帮助我理解这一点，我们应该注意哪些主要端口号，以及哪些进程在这些端口上进行侦听。

Answer 1

fs.defaultFS中定义的端口用于文件系统元数据操作。您无法使用它来访问Web UI。 8042 适用于NodeManager Web UI， 8032 适用于ResourceManager IPC。

参见

• hdfs-default.xml - 用于与HDFS相关的端口
• yarn-default.xml - 适用于YARN相关端口
• mapred-default.xml - 适用于JHS相关端口。