应用错误收集

我有几个Apache Spark应用程序/脚本的用例，通常采用以下形式：

一般ETL用例 - 更具体地说，将包含许多事件（想想事件源）的Cassandra列族转换为各种聚合列族。

流式使用案例 - 事件到达系统时的实时分析。

对于（1），我需要定期启动Spark应用程序。

对于（2），只需在启动时启动长时间运行的Spark Streaming进程，然后继续运行。

（注意 - 我使用Spark Standalone作为集群管理器，因此没有纱线或介子）

我试图找出Spark应用程序的最常见/最佳实践部署策略。

到目前为止，我能看到的选项是：

将我的程序部署为jar ，并使用spark-submit运行各种任务 - 这似乎是spark文档中推荐的方式。关于这个策略的一些想法：
- 如何启动/停止任务 - 只使用简单的bash脚本？
- 如何管理调度？ - 只需使用cron？
- 任何弹性？（例如，如果驱动程序服务器死了，谁会安排要运行的作业？）
创建单独的webapp 作为驱动程序。
- 以编程方式创建一个spark上下文以与spark集群交谈
- 允许用户通过http接口启动任务
- 使用Quartz（例如）管理日程安排
- 可以使用群集与zookeeper选举来恢复弹性
Spark作业服务器（https://github.com/ooyala/spark-jobserver）
- 我不认为（2）对我来说有很多好处，因为我还没有（但）有许多团队和项目与Spark交谈，并且仍然需要一些应用程序来无论如何谈谈工作服务器
- 据我所见，没有内置任何计划

我想了解一个普遍的共识，那就是一个简单而强大的部署策略 - 到目前为止，我还无法通过网络搜索确定一个。

非常感谢！