在AWS EMR上设置Spark Thrift Server以进行JBDC / ODBC连接

时间:2018-03-20 20:12:35

标签: amazon-emr

如何在EMR上设置Spark Thrift服务器?我正在尝试使用Spark Thrift Server建立到EMR的JDBC / ODBC连接。例如,

直线> !connect jdbc:hive2://10.253.3.5:10015

我们执行以下命令重新启动Hive-Server2 -

sudo stop hive-server2 sudo stop hive-hcatalog-server sudo启动hive-hcatalog-server sudo start hive-server2

不确定在AWS EMR上重启Spark Thrift服务器的服务是什么以及如何设置用户ID和密码。

1 个答案:

答案 0 :(得分:1)

我们需要通过在EMR上执行以下命令来启动Spark thrift Server -

sudo /usr/lib/spark/sbin/start-thriftserver.sh --master yarn-client

默认端口为10001

测试连接如下 - / usr / lib / spark / bin / beeline -u'jdbc:hive2://x.x.x.x:10001 / default'-e“show databases;”

Spark JDBC Driver可用于从任何应用程序连接到Thrift服务器