如何在spark SQL中使用MLlib

Question

最近，我一直在学习spark sql，我想知道，有没有办法在spark sql中使用mllib，比如：

select mllib_methodname(some column) from tablename; 

这里，＆＃34; mllib_methodname＆＃34;方法是一个mllib方法。 有没有一些例子说明如何在spark sql中使用mllib方法？

提前致谢。

Answer 1

新的管道API基于DataFrames，后者由SQL支持。参见

http://spark.apache.org/docs/latest/ml-guide.html

或者您可以简单地将MLlib模型中的预测方法注册为UDF，并在SQL语句中使用它们。参见

http://spark.apache.org/docs/latest/sql-programming-guide.html#udf-registration-moved-to-sqlcontextudf-java--scala