Question

我有一个使用Maven（作为jar）构建的Spark Streaming应用程序，并使用spark-submit脚本进行部署。应用程序项目布局遵循标准目录布局：

myApp
    src
        main
            scala
                com.mycompany.package
                      MyApp.scala
                      DoSomething.scala
                      ...
            resources
                aPerlScript.pl
                 ...
        test
           scala
                com.mycompany.package
                      MyAppTest.scala
                      ...
        target
           ...
pom.xml

在DoSomething.scala对象中，我有一个尝试执行Perl脚本的方法（让我们称之为doSomething()） - aPerlScript.pl（来自resources }文件夹） - 使用scala.sys.process.Process并将两个参数传递给脚本（第一个是用作输入的二进制文件的绝对路径，第二个是生成的输出文件的路径/名称）。我打电话给DoSomething.doSomething()。

问题是我无法访问脚本，没有访问绝对路径，相对路径，getClass.getClassLoader.getResource，getClass.getResource，我在pom.xml中指定了资源文件夹。我没有尝试成功。我不知道如何找到我放在src / main / resources中的东西。

我将不胜感激。

侧面说明：

我使用外部进程而不是Spark管道，因为在我的工作流程的这一步，我必须处理二进制文件作为输入和输出。
我正在使用Spark-streaming 1.1.0，Scala 2.10.4和Java 7.我使用＆＃34; Maven install＆＃34;来构建jar。来自Eclipse（开普勒）
当我使用getClass.getClassLoader.getResource＆＃34;标准＆＃34;访问资源的方法我发现实际的类路径是spark-submit脚本的一个。

Answer 1

有一些解决方案。最简单的方法是使用Scala的流程基础架构：

import scala.sys.process._

object RunScript {
  val arg = "some argument"
  val stream = RunScript.getClass.getClassLoader.getResourceAsStream("aPerlScript.pl")
  val ret: Int = (s"/usr/bin/perl - $arg" #< stream).!
}

在这种情况下，ret是流程的返回代码，流程的任何输出都会定向到stdout。

第二个（更长的）解决方案是将文件aPerlScript.pl从jar文件复制到某个临时位置并从那里执行。此代码段应该包含您需要的大部分内容。

object RunScript {
  // Set up copy destination from the Java temporary directory. This is /tmp on Linux
  val destDir = System.getProperty("java.io.tmpdir") + "/"
  // Get a stream to the script in the resources dir
  val source = Channels.newChannel(RunScript.getClass.getClassLoader.getResourceAsStream("aPerlScript.pl"))
  val fileOut = new File(destDir, "aPerlScript.pl")
  val dest = new FileOutputStream(fileOut)
  // Copy file to temporary directory
  dest.getChannel.transferFrom(source, 0, Long.MaxValue)
  source.close()
  dest.close()
}
// Schedule the file for deletion for when the JVM quits
sys.addShutdownHook {
  new File(destDir, "aPerlScript.pl").delete
}
// Now you can execute the script.

此方法允许您将本机库捆绑在JAR文件中。复制它们允许在运行时加载库以用于您计划的任何JNI恶作剧。

如何访问jar中的静态资源（对应于src / main / resources文件夹）？

1 个答案: