Question

sparkcontext创建如下

SparkConf sparkConf = new SparkConf().setAppName(args[0]);
snappySes = new SnappySession(new SparkSession.Builder().config("spark.snappydata.connection", "localhost:1527").getOrCreate())

阅读snappy数据

snappySes.table("SNAPPY_COL_TABLE").show(10);

提交的工作如下

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --conf --conf snappydata.connection=localhost:1527 --conf spark.ui.port=0 --master local[*] --driver-memory 2g --jars  --deploy-mode client --conf spark.driver.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --conf  spark.executor.extraClassPath=/root/snappydata-1.0.1-bin/jars/* --class myclass

作业正在连接到snappydata，记录在下面

在群集模式下初始化SnappyData：智能连接器模式：sc = org.apache.spark.SparkContext@164d01ba，url = JDBC：snappydata：//本地主机[1527] /

但是找不到桌子就失败了。这是指向另一家商店列出了不同的表

如果使用snappy的sparksubmit提交相同的作业。按预期工作。只有改变是提交工作

/usr/hdp/2.6.2.0-205/spark2/bin/spark-submit --- fails
/root/snappydata-1.0.1-bin/bin/spark-submit ---- Pass

Answer 1

据推测，你正在运行两个snappydata集群。并且，某种程度上你的localhost没有统一解决？如果您停止snappy群集，那么当您提交给HDP时会出现异常吗？

在Snappy-shell / snappy-sql中创建的表不会显示智能连接器模式java的

1 个答案: