我无法找到有关如何使用Hive UDF返回Struct的文档。
我的主要问题是:
我从Java开始使用哪些类型的对象?
如何转换它们以便将它们解释为Hive中的Struct?
答案 0 :(得分:4)
这是一种非常简单的UDF示例。 它接收User-Agent字符串,使用外部lib解析它并返回一个包含4个文本字段的结构:
STRUCT< type:string,os:string,family:string,device:string>
您需要扩展 GenericUDF 类并覆盖两个最重要的方法:初始化和评估。
initialize()描述结构本身并定义内部的数据类型。
evaluate()用实际值填充结构。
你不需要任何特殊的类来返回,struct<>在Hive中只是Java中的一个对象数组。
import java.util.ArrayList;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.io.Text;
import eu.bitwalker.useragentutils.UserAgent;
public class UAStructUDF extends GenericUDF {
private Object[] result;
@Override
public String getDisplayString(String[] arg0) {
return "My display string";
}
@Override
public ObjectInspector initialize(ObjectInspector[] arg0) throws UDFArgumentException {
// Define the field names for the struct<> and their types
ArrayList<String> structFieldNames = new ArrayList<String>();
ArrayList<ObjectInspector> structFieldObjectInspectors = new ArrayList<ObjectInspector>();
// fill struct field names
// type
structFieldNames.add("type");
structFieldObjectInspectors.add(PrimitiveObjectInspectorFactory.writableStringObjectInspector);
//family
structFieldNames.add("family");
structFieldObjectInspectors.add(PrimitiveObjectInspectorFactory.writableStringObjectInspector);
// OS name
structFieldNames.add("os");
structFieldObjectInspectors.add(PrimitiveObjectInspectorFactory.writableStringObjectInspector);
// device
structFieldNames.add("device");
structFieldObjectInspectors.add(PrimitiveObjectInspectorFactory.writableStringObjectInspector);
StructObjectInspector si = ObjectInspectorFactory.getStandardStructObjectInspector(structFieldNames,
structFieldObjectInspectors);
return si;
}
@Override
public Object evaluate(DeferredObject[] args) throws HiveException {
if (args == null || args.length < 1) {
throw new HiveException("args is empty");
}
if (args[0].get() == null) {
throw new HiveException("args contains null instead of object");
}
Object argObj = args[0].get();
// get argument
String argument = null;
if (argObj instanceof Text){
argument = ((Text) argObj).toString();
} else if (argObj instanceof String){
argument = (String) argObj;
} else {
throw new HiveException("Argument is neither a Text nor String, it is a " + argObj.getClass().getCanonicalName());
}
// parse UA string and return struct, which is just an array of objects: Object[]
return parseUAString(argument);
}
private Object parseUAString(String argument) {
result = new Object[4];
UserAgent ua = new UserAgent(argument);
result[0] = new Text(ua.getBrowser().getBrowserType().getName());
result[1] = new Text(ua.getBrowser().getGroup().getName());
result[2] = new Text(ua.getOperatingSystem().getName());
result[3] = new Text(ua.getOperatingSystem().getDeviceType().getName());
return result;
}
}
答案 1 :(得分:0)
HIVE中有一个SerDe(序列化器和反序列化器)的概念,可以与您正在播放的数据格式一起使用。它序列化对象(复杂),然后根据需要对其进行反序列化。 例如,如果您有一个包含对象和值的JSON文件,那么您需要一种方法将该内容存储在配置单元中。 为此,你应该使用一个JsonSerde,它实际上是一个jar文件,包含用java编写的解析器代码,用于播放Json数据。
现在你有一个jar(SerDe),另一个要求是架构存储这些数据。 例如:对于XML文件,您需要XSD, 类似地,对于JSON,您可以定义对象,数组和结构关系。 你可以查看这个链接: http://thornydev.blogspot.in/2013/07/querying-json-records-via-hive.html 如果这有助于解决您的目的,请告诉我:))