无法在google-cloud-dataproc中启动spark thrift服务器

Question

我在google-cloud dataproc集群中的端口10010启动spark sql的thrift服务器时遇到困难，它失败并出现以下错误，有人可以帮忙吗？，我尝试更改端口号仍然没有运气。

sudo -u spark HIVE_SERVER2_THRIFT_PORT = 10010 /usr/lib/spark/sbin/start-thriftserver.sh

这是日志：

16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：ThriftBinaryCLIService已启动。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：HiveServer2已启动。 16/11/30 23:47:16错误org.apache.hive.service.cli.thrift.ThriftCLIService：启动HiveServer2时出错：无法启动ThriftBinaryCLIService org.apache.thrift.transport.TTransportException：无法在地址0.0.0.0/0.0.0.0:10002上创建ServerSocket。         在org.apache.thrift.transport.TServerSocket。（TServerSocket.java:109）         在org.apache.thrift.transport.TServerSocket。（TServerSocket.java:91）         在org.apache.thrift.transport.TServerSocket。（TServerSocket.java:87）         在org.apache.hive.service.auth.HiveAuthFactory.getServerSocket（HiveAuthFactory.java:241）         在org.apache.hive.service.cli.thrift.ThriftBinaryCLIService.run（ThriftBinaryCLIService.java:66）         在java.lang.Thread.run（Thread.java:745） 16/11/30 23:47:16 INFO org.apache.hive.service.server.HiveServer2：关闭HiveServer2 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：ThriftBinaryCLIService已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：OperationManager已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：SessionManager已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：CLIService已停止。 16/11/30 23:47:16 INFO org.apache.hive.service.AbstractService：服务：HiveServer2已停止

Answer 1

我不确定为什么这不起作用，但我建议跑步 而是apt-get install spark-thriftserver。

默认情况下，服务器配置为在端口10002上启动（正如您在尝试的情况下那样），但您可以在spark-env.sh中更改它。

值得注意的是，带有AppMaster和执行程序的Thrift服务器可以填充一个小集群，或者被另一个小型Spark作业阻止。