配置hadoop-client连接到其他机器/服务器中的hadoop

时间:2017-11-23 11:32:03

标签: hadoop hive

在服务器A上,我有hadoop和python脚本,用于在hadoop上执行任务。 在服务器B上我有hive / hadoop。 是否可以在服务器A上配置hadoop-client连接到服务器B上的hadoop?

1 个答案:

答案 0 :(得分:1)

目前还不清楚您使用的是哪个Python库,但假设使用PySpark,您可以在客户端计算机上复制或配置HADOOP_CONF_DIR,并且可以与任何外部Hadoop系统进行通信。

至少,您需要配置core-site.xml与HDFS进行通信,并配置hive-site.xml与Hive进行通信。

如果您使用PyHive library,则只需连接到user@hiveserver2:1000

即可