Question

我一直在使用带有Jobserver的独立Spark Server。由于x的原因，我不得不迁移到Ambari群集，然后像已经拥有Livy一样，我认为最好使用它而不是Jobserver。

现在我迷失了尝试将实际的Java Jobserver代码迁移到Livy的过程。我已经阅读了Livy文档，这就是我发现的内容：

在Livy中，您可以执行某种程度上类似于Jobserver中的Ad-Hoc模式的批处理。还有会话，其中每个会话可以使用单个Spark上下文来执行语句。我说的对吗？

是否有一种方法可以像Jobserver中那样以同步的方式执行批处理或语句，因此只需一个请求就可以得到结果？其实我只能看到异步模式。
在Jobserver中，您可以引用实现您的功能的Java类，而该类仅需要实现类JSqlJob<String>，然后Job Server知道它必须执行该类的run()方法。但是在Livy中，我尝试执行Pi计算，但是失败了。

我正在使用以下卷曲：curl -X POST -d '{ "file": "hdfs://a1:8020/user/value_iq/Livy_Pi_Example-1.0-SNAPSHOT-dep.jar", "className": "value_iq.viq.PiJob","proxyUser": "hdfs", "name": "Livy Pi Example", "conf": {"executorCores":1, "executorMemory":"2G", "driverCores":1, "driverMemory":"512m", "queue":"uno"}, "args" : ["100"] }' -H "Content-Type: application/json" -H "X-Requested-By: admin" http://ambari.value-iq.com:8999/batches

java.lang.NoSuchMethodException: value_iq.viq.PiJob.main([Ljava.lang.String;)
    at java.lang.Class.getMethod(Class.java:1786)
    at org.apache.spark.deploy.yarn.ApplicationMaster.startUserApplication(ApplicationMaster.scala:641)
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:416)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:282)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$main$1.apply$mcV$sp(ApplicationMaster.scala:768)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:67)
    at org.apache.spark.deploy.SparkHadoopUtil$$anon$2.run(SparkHadoopUtil.scala:66)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1869)
    at org.apache.spark.deploy.SparkHadoopUtil.runAsSparkUser(SparkHadoopUtil.scala:66)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:766)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)

在这种主要方法中我需要实现什么？

这是我的java类：

package value_iq.viq;

import java.util.*;

import org.apache.spark.api.java.function.*;

import org.apache.livy.*;

public class PiJob implements Job<Double>, Function<Integer, Integer>,
  Function2<Integer, Integer, Integer> {

  private final int samples;

  public PiJob(int samples) {
    this.samples = samples;
  }

  @Override
  public Double call(JobContext ctx) throws Exception {
    List<Integer> sampleList = new ArrayList<Integer>();
    for (int i = 0; i < samples; i++) {
      sampleList.add(i + 1);
    }

    Integer max = ctx.sqlctx().sql("select max(id) from livy_test").takeAsList(1).get(0).getInt(0) + 1;

    ctx.sqlctx().sql("insert into livy_test values("+max+", now())");

    return 4.0d * ctx.sc().parallelize(sampleList).map(this).reduce(this) / samples;
  }

  @Override
  public Integer call(Integer v1) {
    double x = Math.random();
    double y = Math.random();
    return (x*x + y*y < 1) ? 1 : 0;
  }

  @Override
  public Integer call(Integer v1, Integer v2) {
    return v1 + v2;
  }

我从https://livy.incubator.apache.org/docs/latest/programmatic-api.html获得了这个类，它说：要使用Livy提交此代码，请创建一个LivyClient实例。我是否必须先创建另一个jar文件才能使用Pi Job上传该文件？？？我不能像我正在尝试的那样仅上传jar并在curl中指定java类吗？

从Spark Jobserver迁移到Apache Livy

0 个答案: