如何使用单节点MemSql集群设置Spark？

Question

我有一个单节点MemSql集群：

• RAM：16GM
• 核心：4
• Ubuntu 14.04

为了ETL，我在这个Memsql上部署了Spark。

我无法在Memsql上配置spark。

1. 如何为Spark Work目录设置轮换策略：/var/lib/memsql-ops/data/spark/install/work/

2. 如何更改路径？

3. 应设置spark.executor.memory多大以避免OutOfMemoryExceptions？

如何为部署在Memsql集群上的Spark设置不同的配置设置？

Answer 1

希望以下内容能解决您的问题：

1. 请参阅spark.worker.cleanup.enabled及相关配置选项：https://spark.apache.org/docs/1.5.1/spark-standalone.html
2. 可以在/var/lib/memsql-ops/data/spark/install/conf/spark_{master,worker}.conf中更改配置。更改配置后，必须使用memsql-ops spark-component-stop --all然后memsql-ops spark-component-start --all
重新启动spark群集