多参数-Spark SCALA通用程序

时间:2018-09-25 01:52:14

标签: json scala apache-spark apache-spark-sql spark-streaming

我正在努力在SCALA / SPARK中创建Generinc程序/框架-它将通过以下方式来处理数据提取过程 与表相关的各种参数,并执行src和target的数据导入和导出。

现在,为了使其更通用,我希望能够为每个表创建参数集文件-该文件将具有所有 相关参数,例如tablename,sql,src表和target,键等。

另外一些参数将取决于环境,例如模式名称或数据库主机连接或数据库配置文件。

有人可以指导我使用SCALA或我可以实现的一些很好的例子吗?

问题-

  1. 什么是管理参数配置或参数设置文件的最佳方法,遵循的最佳格式是什么? JSON / PROPerties文件(java.util.prop)..etc
  2. 某些与环境有关的值应如何管理
  3. 我们可以读取一些值,甚至可以通过替换env变量来解析它。喜欢模式?

任何想法都欢迎。 预先感谢。

0 个答案:

没有答案