使用Java中的Spark Job Server中的持久上下文模式

时间:2017-02-09 19:24:32

标签: java rest apache-spark spark-jobserver

我想通过RESTful API使用Apache Spark的机器学习功能。因此我使用Spark Job Server。我已经开发了一个用于通信的界面,但我发现,当我使用持久上下文模式时,我无法在不同的工作圈之间保存像训练模型这样的对象。我找不到任何关于如何使用JAVA实际执行持久作业的文档。 我对Apache Spark也很陌生,并且不了解Scala。我也不想从开发过程开始,如果有人可以分享他在如何在Apache Spark Jobserver作业之间保留JAVA对象的经验,或者指向一个好的示例或文档,我会非常高兴。

首先,至少序列化一个对象并将其保存到磁盘甚至是足够的。但我在Apache Spark Jobserver中也没有成功。我使用了一个简单的代码,如下所示,但这可能在Spark

中不那么简单
 try {
     FileInputStream streamIn = new FileInputStream("D:\\LRS.ser");
     ObjectInputStream objectinputstream = new ObjectInputStream(streamIn);
     LRService = (LogisticRegressionService) objectinputstream.readObject();
     objectinputstream.close();
 } catch (Exception e) {
     e.printStackTrace();
 }

0 个答案:

没有答案