如何提交python SnappyData作业

Question

SnappyData文档（docs / programming_guide / using_the_spark_shell_and_spark-submit.md） 显示可以将可以使用SnappyData表的python程序提交到Spark（主默认端口7077）：

  

$ ./bin/spark-submit --class   io.snappydata.examples.AirlineDataSparkApp --master   spark：// masterhost：7077 --conf   spark.snappydata.connection = locatorhost：clientPort   $ SNAPPY_HOME / examples / jars / quickstart.jar

我的问题：Spark端口7077似乎没有监听。是否必须手动配置？

（假设：我假设端口7077属于SnappyData随附的Spark，而不是单独的Spark集群。）

Answer 1

是的，Snappy数据服务器JVM无法在内部“运行” Python。但是，您可以使用相同的节点来启动Spark主服务器和工作服务器-它们的重量非常轻。运行与用于运行SnappyData“数据服务器”的节点并置的工作程序。 请注意，作业（例如Java，scala）是否在数据服务器内运行，它们是否需要类似的资源（CPU，内存）。