标签: apache-spark spark-streaming
我正在使用spark-submit cluster mode部署我的应用程序来在生产中运行它。
spark-submit cluster mode
但是这要求在所有节点中将jar放在相同的路径中,并且还要求在同一路径中作为参数传递的配置文件。 我在独立模式下运行spark并且我没有hadoop或S3环境。这种部署方式不方便。 我可以在客户端模式下从一个节点提交spark,但它并不能提供高可用性。
在生产中部署spark流应用程序的最佳方法是什么?