我在3个ec2节点上安装了cassandra spark-hadoop集群。昨天,我能够在node0上启动spark thrift服务器,并且实际上在beeline中执行了一个简单的sql语句。今天,在架构更改后,我重新启动了thrift服务器,现在我得到了一个 SparkException java.lang.IllegalArgumentException:ip-172-30-4-140 在org.apache.hadoop.hive.cassandra.cql3.input.HiveCqlInputFormat.getRecordReader(HiveCqlInputFormat.java:212)
ip-172-30-4-140只是该节点的私有IP
我尝试从其他两个cassandra节点运行相同的序列,对于那些,sql语句被卡住并且永远不会返回。
这是什么错误?任何人都知道吗?
答案 0 :(得分:0)
这不是ip。你必须把私人IP或公共DNS。
答案 1 :(得分:0)
host参数的默认值指向ec2的内部ip DNS,这会导致异常。它需要明确声明
sudo dse spark-sql-thriftserver start hive.server2.thrift.bind.host = your-ec2-private-ip