我正在编写一个ASP.Net Web API,它在某些时候将与Apache Spark集群进行通信。
使用spark集群上的Livy服务器建立通信,该服务器公开了REST API接口和我写的HTTP客户端。
在我的业务逻辑中,我需要定义将作为作业提交给spark的操作。 现在我创建一个Livy PySpark会话并提交PySpark代码。
PySpark代码由我的Web API逻辑生成。 作为代码生成的一个例子,如果我想导入一个python模块,我这样做:
string pythonImportTemplate = "from {0} import {1}";
statements.Add(string.format(pythonImportTemplate, param1, param2));
/*** Post Statements To Spark ***/
这对我来说似乎非常错误和重复。
我的问题:有没有强大的方法(或设计模式)来生成这样的代码字符串,最大限度地减少了解释器(Livy)语法错误的概率?