如何在Azure HDInsight群集中创建Pig Latin作业

Question

我刚刚为Azure创建了一个免费帐户，并在HDInsight上创建了hadoop群集。但是，它无论如何也没有显示如何启动Pig客户端并创建Pig拉丁作业并运行它？

Answer 1

不幸的是，您不能使用Ambari UI来运行猪拉丁作业。

注意：要使用Pig来处理数据，需要打开连接到集群的SSH控制台，然后使用本地模式或mapreduce模式运行Pig latin：

如果您使用的是Windows客户端计算机：

1. 在Microsoft Azure门户的HDInsight群集的HDInsight群集刀片上，单击“安全外壳”，然后在“安全外壳”刀片的“主机名”列表中，记下群集的主机名（应为your_cluster_name-ssh.azurehdinsight.net）。

2. 打开PuTTY，然后在“会话”页面的“主机名”框中输入主机名。然后在“连接类型”下，选择“ SSH”，然后单击“打开”。如果显示无法验证主机证书的安全警告，请单击“是”继续。

3. 在出现提示时，输入在配置群集时指定的SSH用户名和密码（而不是群集登录名）。

如果您使用的是Mac OS X或Linux客户端计算机：

1. 在Microsoft Azure门户中，在HDInsight群集的HDInsight群集刀片上，单击“安全Shell”，然后在“安全Shell”刀片中的“主机名”列表中，选择群集的主机名。然后复制显示的ssh命令，该命令应类似于以下命令–您将使用此命令连接到头节点。 ssh sshuser@your_cluster_name-ssh.azurehdinsight.net

2. 打开一个新的终端会话，并粘贴ssh命令，指定您的SSH用户名（而不是集群登录名）。

3. 如果即使无法验证证书也提示您连接，请输入yes。

4. 出现提示时，输入SSH用户名的密码。

连接到群集后，如下所示连接到run pig latin：

您可以执行Pig Latin语句：

• 使用grunt shell或命令行
• 在mapreduce模式或本地模式下
• 交互式或批量

参考： Pig Manual