数据我将我的Spark集群与apache Hadoop配置集成,它工作正常,然后我开始将我的spark集群与Azure数据湖存储集成,它也工作正常,参考我把这个link用于spark使用azure数据湖,然后我需要将spark与Snappy数据集成集成,根据snappy-data文档,我们可以使用snappy-data Package
./ bin / spark-shell --conf spark.snappydata.store.sys-disk-dir = quickstartdatadir --conf spark.snappydata.store.log-file = quickstartdatadir / quickstart.log --packages“SnappyDataInc: snappydata:0.7-s_2.11“
执行此One后,我可以创建Snappy会话,但我无法创建Snappy数据表。我在HiveUtill包上遇到了这个问题,然后是Org.apache.slf jar问题。如果有人知道如何解决这个问题请让我知道谢谢..
答案 0 :(得分:0)
几个问题:
您使用的是哪个Spark版本?
您使用什么命令来创建Snappy表?
我可以看到您没有连接到任何现有的SnappyData集群。你是否在本地模式下运行它进行测试?