在dse4.6中运行一个spark程序

Question

我编写了一个Java spark程序，想要使用命令dse spark-submit在dse4.6下运行它。

据我所知，我必须在spark分析模式下启动dse。但据我所知，spark与dse 4.6集成在一起，所以这意味着我必须从我的java程序创建一个jar文件才能在dse4下运行它.6 spark analytics模式，然后我必须从我的程序中删除spark core jar，然后为我的应用程序创建jar，然后在dse中运行它。

虽然这个问题可能听起来很愚蠢，但我仍然想知道如果spark与DSE集成，那么我仍然应该在我的pom.xml中包含spark core作为maven依赖项，或者我总是在我的程序中删除我的spark-core jar制作罐子？

Answer 1

这是一个很好的问题。谢谢你的询问！

简短的回答是：

  

使用应用程序中dse.jar中包含的帮助程序类

我们最近更新了DataStax docs，以包含一个更好的示例，说明如何针对DSE构建自定义Spark作业。您也可以查看本文档所基于的Ryah Svhila的程序。这是他的github回购。