Question

可以吗？这是我试过写的测试UDF：

java_package "com.foo.hive.udf"
java_import org.apache.hadoop.hive.ql.exec.Description
java_import org.apache.hadoop.hive.ql.exec.UDF

java_annotation 'Description(name = "foo", value = "_FUNC_(string) - just returns test.")'
class Foo < UDF
  def evaluate ts
    "test"
  end
end

然后我这样编译：

jrubyc com/foo/hive/udf/Foo.rb
jar -cf Foo.jar com/foo/hive/udf/*.class /path/to/jruby-1.7.3/lib/jruby.jar

然后我尝试使用它：

hive> ADD JAR path/to/Foo.jar;
Added /path/to/Foo.jar to class path
hive> CREATE TEMPORARY FUNCTION foo AS 'com.foo.hive.udf.Foo';

这让我：

java.lang.NoClassDefFoundError: org/jruby/ast/executable/AbstractScript
  at java.lang.ClassLoader.defineClass1(Native Method)
  at java.lang.ClassLoader.defineClass(ClassLoader.java:634)
  at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
  at java.net.URLClassLoader.defineClass(URLClassLoader.java:277)
  at java.net.URLClassLoader.access$000(URLClassLoader.java:73)
  at java.net.URLClassLoader$1.run(URLClassLoader.java:212)
  ...
FAILED: Execution Error, return code -101 from org.apache.hadoop.hive.ql.exec.FunctionTask
hive> ADD JAR /path/to/Foo.jar;

同样的事情，用java编写，工作正常。所以这对我来说似乎是一个jRuby问题？

Answer 1

java.lang.NoClassDefFoundError: org/jruby/ast/executable/AbstractScript告诉您JRuby运行时jar不可用。编译JRuby类时，它会创建一个.class文件，该文件取决于您编译它的JRuby版本。

我猜你如果你下载了JRuby完整的jar，你可以运行

> ADD JAR jruby-complete-1.7.4.jar

然后你的类将配置其依赖项。

使用jRuby编写Hive UDF

1 个答案: