Question

我已经看到有适用于Hadoop的Microsoft .NET SDK。我发现Map / Reduce程序现在可以用.NET编写，用于HDInsight 有没有办法可以为HDInsight编写Hive UDF？

Answer 1

您可以使用相同的streaming method you would with a python UDF将.NET程序作为UDF运行。

例如，如果您有一个.NET程序对STDIN执行某些操作并将结果写入STDOUT，则可以使用Hive UDF运行它，如下所示：

SELECT TRANSFORM (<columns>)
USING '<PROGRAM.EXE>'
AS (<columns>)
FROM <table>;

请注意，您还可以在UDF中使用逗号分隔数据在UDF中使用多个列。

就性能而言，你可能会觉得这很慢，所以要小心过度使用，并留意它。

另外，在运行查询之前，不要忘记将program.exe文件添加到您的配置单元作业。

add FILE 'wasb://...PROGRAM.EXE';

Answer 2