在Spark中运行C ++ UDF

Question

我试图找到一种在Spark中运行C ++ UDF的方法。到目前为止，我只能找到运行Java UDF的方法，但无法找到有关运行C ++ UDF的任何内容。

任何人都知道如何在Spark中使用它（Scala或PySpark）？

Answer 1

不支持C ++作为客户语言，因此您无法编写C ++ UDF。你可以做的是在支持UDF中称你为Scala或Python的C ++代码。

在Scala中，您可以使用Java Native Interface。 Intefaced代码必须是线程安全的。

在Python 中，您可以撰写C/C++ Extension，Swig inteface或Cython。工人被隔离，因此不需要线程安全。