MapReduce用于在hadoop集群中执行.ds2评分文件的代码

Question

我有一个从SAS评分加速器创建的.ds2文件。 sas评分加速器有一个宏％INDHD_RUN_MODEL，它在内部创建一个MapReduce代码来执行.ds2文件。

如何查看代码或如何创建类似的mapreduce代码。 所以我可以通过oozie安排得分。

Answer 1

%indhd_run_model宏已预编译并存储在SASHOME\SASFoundation\9.4\accelmvahadp\cmacros中。看来这段代码的开发人员希望隐藏内容。

libname macros 'C:\SAS\SASHome\SASFoundation\9.4\accelmvahadp\cmacros';
options sasmstore=macros mstored;

%COPY indhd_run_model / source;

  

注意：宏％INDHD_RUN_MODEL是使用/ SECURE选项编译的。不会为此％COPY语句生成任何输出。

     

错误：宏时未指定/ SOURCE选项   编辑了INDHD_RUN_MODEL。

由于启用了/secure选项，因此无法专门查看Hadoop代码模板;但是，您可以通过在SAS中启用以下选项来获得更好的洞察力：

options mlogic mlogicnest sastrace=',,,d' sastraceloc=saslog nostsuffix;

这将开启一些事情：

1. 正在运行的宏的不同部分的实际逻辑
2. SAS发送的HiveQL查询以及Hadoop的响应;输出在SAS日志中

您还可以使用sastrace选项的参数来获取different types of information。

最糟糕的情况是，您需要联系SAS技术支持以获得有关该问题的更多帮助。我建议打电话，因为你会有更快的回复。

Answer 2

您可以安排％INDHD_RUN_MODEL，但无法直接安排map-reduce作业.SAS EP（嵌入式处理）将.ds2代码转换为map-reduce作业，然后执行它。整个过程应该是最终用户的黑盒子。