Question

我使用sklearn模块在Python中运行了RandomForestClassifier模型。我将模型保存在pickle文件中。然后我从Oracle中提取数据，将其保存为.csv文件，将此.csv文件发送到可以在Python中打开模型的pickle文件的计算机，并对数据进行评分。对数据进行评分后，我将结果发送回Oracle。

是否可以从RandomForestClassifier（.predict_proba）函数中提取评分系数，以便将数据加载到Oracle中并仅在Oracle内部对数据进行评分？

在阅读文档之后，看起来评分算法过于复杂而无法执行上述建议，因为它必须在每个树上推送每个新记录才能达到最终得分概率。这是对的吗？

我提前感谢您的帮助。

马特

Answer 1

AFAIK没有现成的工具，但您可以阅读基础decision tree class的Cython源代码，特别是predict方法，以了解预测如何根据拟合参数进行工作决策树模型。随机森林预测将单个树预测视为二进制概率（0或1），对它们求平均值并将它们标准化为written here。

将其转换为PL / SQL可能并非易事。显然，Oracle Data Mining对PMML Import/Export of decision tree models以及其他模型提供了一些支持。遗憾的是，我不知道任何针对scikit-learn决策树的PMML导出器的实现（尽管以source code的graphviz tree exporter作为示例可能更容易编写）。

另请注意，在PostgreSQL下，您可以直接在使用PL/Python编写的数据库函数中使用scikit-learn。

Answer 2

我当时不得不在Oracle数据库上运行随机森林模型。可以生成执行与Python Sk-learn RF模型相同功能的PL / SQL包。

一旦您收到this SO上丹尼尔（Daniele）的回答，这是一件很简单的事情。

首先，您具有以下文件： rforest_to_plsql.py

def t(n):
    return " " * 4 * n

def get_est_code(tree, feature_names):
    left      = tree.tree_.children_left
    right     = tree.tree_.children_right
    threshold = tree.tree_.threshold
    features  = [feature_names[i] for i in tree.tree_.feature]
    value = tree.tree_.value
    def recurse(left, right, threshold, features, node, depth, code):
        if (threshold[node] != -2):
            code += t(depth) + "if ( " + features[node] + " <= " + str(threshold[node]) + " ) then\n"
            depth += 1
            if left[node] != -1:
                code = recurse (left, right, threshold, features,left[node], depth, code)                 
            code += t(depth - 1) + "else\n"
            if right[node] != -1:
                code = recurse (left, right, threshold, features,right[node], depth, code)
            code += t(depth - 1) + "end if;\n"
            depth -= 1
        else:
            code +=  t(depth) + "return two_values(" + str(value[node][0][0]) + ", " + str(value[node][0][1]) + ");\n"
        return code
    return recurse(left, right, threshold, features, 0, 2, "")


def get_pkg_header_code(clf, feature_names):
    pkg_h_code = """create or replace package pkg_rforest_model as
    function predict_proba (\n"""
    for feat in feature_names:
        pkg_h_code += t(2) + feat + "   number,\n"
    pkg_h_code = pkg_h_code[:-2] + ")  return number;\n"
    pkg_h_code += "end pkg_rforest_model;"
    return pkg_h_code

def get_pkg_body_code(clf, feature_names):
    pkg_b_code = "create or replace package body pkg_rforest_model as\n"        
    #code for each estimator
    for index, estimator in enumerate(clf.estimators_):
        func_name = "f_est_" + str(index).zfill(3)
        pkg_b_code += t(1) + "function " + func_name + " (\n"
        for feat in feature_names:
            pkg_b_code += t(2) + feat + "   number,\n"
        pkg_b_code = pkg_b_code[:-2] + ") return two_values as\n    begin\n"
        pkg_b_code += get_est_code(clf.estimators_[index], ["f" + str(i) for i in range(7)])
        pkg_b_code += "    end " + func_name + ";\n"
    #this function calls all each estimator function and returns a weighted probability
    pkg_b_code += "    function predict_proba (\n"
    for feat in feature_names:
        pkg_b_code += t(2) + feat + "   number,\n"
    pkg_b_code = pkg_b_code[:-2] + ")  return number as\n    v_prob    number;\n"    
    for index, estimator in enumerate(clf.estimators_):
        func_name = "f_est_" + str(index).zfill(3)
        pkg_b_code += t(2) + "v_" + func_name + "_a number;\n"
        pkg_b_code += t(2) + "v_" + func_name + "_b number;\n"
        pkg_b_code += t(2) + "pr_est_" + str(index).zfill(3) + " number;\n"

    pkg_b_code += t(1) + "begin\n"    
    for index, estimator in enumerate(clf.estimators_):
        func_name = "f_est_" + str(index).zfill(3)
        pkg_b_code += t(2) + "v_" + func_name + "_a := " + func_name+ "(" + ", ".join(feature_names) + ").a;\n"
        pkg_b_code += t(2) + "v_" + func_name + "_b := " + func_name+ "(" + ", ".join(feature_names) + ").b;\n"
        pkg_b_code += t(2) + "pr_est_" + str(index).zfill(3) + " := v_" + func_name + "_a / ( v_" + \
                      func_name + "_a + v_" + func_name + "_b);\n"
    pkg_b_code += t(2) + "return  ("
    for index, estimator in enumerate(clf.estimators_):
        pkg_b_code += "pr_est_" + str(index).zfill(3) + " + "
    pkg_b_code = pkg_b_code[:-2] + ") / " + str(len(clf.estimators_)) + ";\n"
    pkg_b_code += t(1) + "end predict_proba;\n"   
    pkg_b_code += "end pkg_rforest_model;"
    return pkg_b_code

然后训练模型，并获取文件功能的PL / SQL代码：

from sklearn.ensemble import RandomForestClassifier
from sklearn.datasets import make_classification
import rforest_to_plsql
n_features = 4
X, y = make_classification(n_samples=1000, n_features=n_features,
                            n_informative=2, n_redundant=0,
                            random_state=0, shuffle=False)
clf = RandomForestClassifier(max_depth=2, random_state=0)
clf.fit(X, y)
features = ["f" + str(i) for i in range(n_features)]
pkg_h_code = rforest_to_plsql.get_pkg_header_code(clf, features)
pkg_b_code = rforest_to_plsql.get_pkg_body_code(clf, features)
print pkg_h_code
print pkg_b_code

在数据库上创建该程序包后，您可以执行以下操作：

select pkg_rforest_model.predict_proba(0.513889 , 0.511111 , 0.491667 ,  0)
from   dual;

这是纯PL / SQL，应该运行非常快。如果您的RF很大，则可以本地编译该软件包以提高性能。警告-包装的LOC可能为10s的1000s。

Answer 3

这是使用SKompiler库的方式：

from skompiler import skompile
expr = skompile(gbr.predict)

skompile(rf.predict_proba).to('sqlalchemy/oracle')

这当然不是评估RF分类器的最有效方法-对于大型森林，所生成的查询大小很容易达到兆字节。

注意：如果您的林中有超过一百个估计量，则可能还需要增加系统递归限制来进行编译：

import sys
sys.setrecursionlimit(10000)

你能从Scikit中学习得分算法 - 学习RandomForestClassifier并将系数加载到Oracle吗？

3 个答案: