为< 400k文本文件进程激活嵌入式(相同的JVM)

时间:2016-12-02 11:43:52

标签: apache-spark

我们可以在我们的应用程序中嵌入迷你火花作业吗?任何例子?原因:希望处理文件的一部分并提供比提交常规作业更快的结果。文件只有500行。但是不想保留2个代码库 - 只是用于大文件的代码库。文件大小小于MB。

我想在运行客户端代码的同一JVM中处理该文件。希望通过配置中的标志从同一JVM中启动单个执行程序。 (所以一些工作将设置这个标志,其他工作将不会。那些不会在集群上像往常一样运行。)

0 个答案:

没有答案