ec2上的spark-cassandra thrift服务器从直线上查询SparkException

时间:2016-04-27 02:32:19

标签: amazon-ec2 thrift spark-cassandra-connector beeline

我在3个ec2节点上安装了cassandra spark-hadoop集群。昨天,我能够在node0上启动spark thrift服务器,并且实际上在beeline中执行了一个简单的sql语句。今天,在架构更改后,我重新启动了thrift服务器,现在我得到了一个 SparkException java.lang.IllegalArgumentException:ip-172-30-4-140       在org.apache.hadoop.hive.cassandra.cql3.input.HiveCqlInputFormat.getRecordReader(HiveCqlInputFormat.java:212)

ip-172-30-4-140只是该节点的私有IP

我尝试从其他两个cassandra节点运行相同的序列,对于那些,sql语句被卡住并且永远不会返回。

这是什么错误?任何人都知道吗?

2 个答案:

答案 0 :(得分:0)

这不是ip。你必须把私人IP或公共DNS。

答案 1 :(得分:0)

好的,我发现了问题。

host参数的默认值指向ec2的内部ip DNS,这会导致异常。它需要明确声明

sudo dse spark-sql-thriftserver start hive.server2.thrift.bind.host = your-ec2-private-ip