Question

我试图通过executioncript处理器执行某些操作;一个groovy代码里面。在代码中，我尝试创建一个scala脚本，该脚本将在另一个处理器中的spark上执行。

// Get flow file
def flowFile = session.get()
if (!flowFile) return
// Create output directory
def userInputDir = flowFile.getAttribute("user.input.path")
def finalFolder = new File(userInputDir + "/" + innerDir)

try
{
if (!finalFolder.exists()) finalFolder.mkdirs()
// Write script
file = "spark.sqlContext.setConf(\"hive.exec.dynamic.partition\", \"true\")\n"
file = file + "spark.sqlContext.setConf(\"hive.exec.dynamic.partition.mode\", \"nonstrict\")\n"
file = file + "import org.apache.spark.sql._"
file = file + "\n"
file = file + "import java.io._"
file = file + "\n"

} 。。。其他步骤是向script变量添加一些其他特定于spark的命令。脚本很大，所以跳过完整的代码粘贴。最后，以捕获结束

// Output file path
flowFile = session.putAttribute(flowFile, "generatedScript", scalaFile.getCanonicalPath())
session.transfer(flowFile, REL_SUCCESS)
}
catch(Exception e)
{
 log.info("File: {}\n", finalFolder.file)
 session.transfer(flowFile, REL_FAILURE)
}

处理器甚至没有开始启动groovy脚本执行，但它失败并显示错误：

groovy.lang.MissingPropertyException: No such property: script for calss: javal.io.File

声明“甚至没有开始”＃39;表示前一个队列不为空，处理器抛出错误。我猜它是一个语法问题，但我找不到脚本中的任何语法问题。我也尝试在本地机器的groovy shell中运行脚本，并且在那里也有相同的错误，但没有语法问题。

谷歌搜索错误让我得到了在脚本中包含导入的建议，但即使包含相关的导入，错误也是一样的。

任何线索？

Answer 1

你指的是一个未在任何地方定义的变量“innerDir”。您是否希望用户将用户定义的属性添加到名为innerDir的ExecuteScript中？如果是这样，脚本中的innerDir变量是一个PropertyValue对象，因此您需要在其上调用getValue（）以获取该属性的实际值：

innerDir.value

你也可以参考scalaFile.getCanonicalPath（）但是上面没有定义scalaFile，而getCanonicalPath（）也不会给你脚本的内容，这是你的意思吗？

我重写了上面的部分脚本，假设innerDir是一个用户定义的属性，你将文件变量的内容写入scalaFile指向的File;我也使用heredoc而不是附加到文件变量：

，使其更加Groovy

// Get flow file
def flowFile = session.get()
if (!flowFile) return
// Create output directory
def userInputDir = flowFile.getAttribute("user.input.path")
def finalFolder = new File(userInputDir + "/" + innerDir?.value ?: '')

try
{
  if (!finalFolder.exists()) finalFolder.mkdirs()
  // Write script
  file = 
"""
  spark.sqlContext.setConf("hive.exec.dynamic.partition", "true")
  spark.sqlContext.setConf("hive.exec.dynamic.partition.mode", "nonstrict")
  import org.apache.spark.sql._
  import java.io._
"""
  scalaFile = new File(finalFolder, 'script.scala')
  scalaFile.withWriter {w -> w.write(file)}
  // Output file path
  flowFile = session.putAttribute(flowFile, "generatedScript", scalaFile.canonicalPath)
  session.transfer(flowFile, REL_SUCCESS)
}
catch(Exception e) {
  log.info("File: {}\n", finalFolder.file)
  session.transfer(flowFile, REL_FAILURE)
}

groovy脚本无法在nifi executioncript处理器

1 个答案: