结合SpqrkSQL和GraphX

Question

您可以在SparkSQL中创建存储过程并调用GraphX API吗？像这样的东西：

registerFunction("storedProcedureGraphX", model.storedProcedureGraphX _)

select * from someTable where storedProcedureGraphX(nodeX, nodeY) > 10

Answer 1

如果通过 GraphX API 表示对RDD的任何操作，那么答案是否定的。这将涉及为每一行启动新的Spark任务，这绝对不是一个好主意。而且你必须关闭SparkContext，这是不可序列化的 - 以及你用作UDF的函数。