Question

我正在阅读文档，我想请您帮助我了解SnappyData Smart Connector点。

文档中有一些不同的例子，我应该如何使用spark-submit，例如：

示例1

  ./bin/spark-submit --deploy-mode cluster --class somePackage.someClass  
--master spark://localhost:7077 --conf spark.snappydata.connection=localhost:1527 
--packages "SnappyDataInc:snappydata:1.0.0-s_2.11"

示例2

// Start the Spark standalone cluster from SnappyData base directory
$ sbin/start-all.sh 
// Submit AirlineDataSparkApp to Spark Cluster with snappydata's 
locator  host port.
$ bin/spark-submit --class io.snappydata.examples.AirlineDataSparkApp --master spark://masterhost:7077 --conf spark.snappydata.connection=locatorhost:clientPort --conf spark.ui.port=4041 $SNAPPY_HOME/examples/jars/quickstart.jar

示例3

$ <Spark_Product_Home>/bin/spark-submit --master local[*] --conf 
spark.snappydata.connection=localhost:1527  --class 
org.apache.spark.examples.snappydata.SmartConnectorExample   --
packages SnappyDataInc:snappydata:1.0.0-s_2.11 
<SnappyData_Product_Home>/examples/jars/quickstart.jar

假设我在3台主机上安装了Spark群集：1个主人和3个工作人员我想使用SnappyData集群作为当前spark环境的数据源。我应该使用示例1或2或3中的命令吗？

你能否向我解释一下spark-submit中的--deploy-mode参数 - http://snappydatainc.github.io/snappydata/affinity_modes/connector_mode/ spark-submit的集群模式和客户端模式有什么不同？

提前感谢您的帮助。的问候，

Answer 1

解释部署模式here。使用SnappyData时没有什么不同。运行自己的Spark集群（任何与Spark 2.1兼容的Spark发行版）时，使用SnappyData只需要配置Snappy定位器（例如localhost：1527）。

SnappyData Smart Connector - 如何运行作业

1 个答案: