有没有人成功运行Apache Spark&卡桑德拉的鲨鱼

时间:2013-11-15 10:58:01

标签: scala cassandra hive apache-spark shark-sql

我正在尝试配置一个5节点的cassandra集群来运行Spark / Shark来测试一些Hive查询。 我安装了Spark,Scala,Shark并根据Amplab [在集群上运行Shark] https://github.com/amplab/shark/wiki/Running-Shark-on-a-Cluster进行配置。

我能够进入Shark CLI,当我尝试从我的一个Cassandra ColumnFamily表创建一个EXTERNAL TABLE时,我不断收到此错误

  

异常失败   org.apache.hadoop.hive.ql.metadata.HiveException:加载时出错   存储   handler.org.apache.hadoop.hive.cassandra.CassandraStorageHandler

     

FAILED:执行错误,返回代码1   org.apache.hadoop.hive.ql.exec.DDLTask

我已经配置了HIVE_HOME,HADOOP_HOME,SCALA_HOME。也许我将HIVE_HOME和HADOOP_HOME指向错误的路径? HADOOP_HOME设置为我的Cassandra hadoop文件夹(/ etc / dse / cassandra),HIVE_HOME设置为Hadoop1 / hive的解包Amplad下载,我还将HIVE_CONF_DIR设置为我的Cassandra Hive路径(/ etc / dse / hive)。 我错过了任何步骤吗?或者我错误地配置了这些位置?有什么想法吗?任何帮助将非常感谢。感谢

1 个答案:

答案 0 :(得分:1)

是的,我已经得到了它。

尝试https://github.com/2013Commons/hive-cassandra

whick正在使用cassandra 2.0.4,hive 0.11,hadoop 2.0