在sklearn预测变量上使用dask Parallel post fit(ParallelPostFit包装器)

时间:2018-09-28 19:40:46

标签: python dask

我正在尝试评估一个sklearn预测变量,该预测变量是在大于内存模糊输入数组的基础上完成的。我已阅读了平行的后装配文档https://dask-ml.readthedocs.io/en/latest/modules/generated/dask_ml.wrappers.ParallelPostFit.html,但仍然遇到一些问题。以下代码说明了我遇到的那种问题:

from dask.base import tokenize
import numpy as np
import dask.array as da
from dask.array import Array
from sklearn.linear_model import LinearRegression
from dask_ml.wrappers import ParallelPostFit
"""
for stack overflow question
"""
x = np.linspace(0,100,100,dtype=np.int32)
y = np.linspace(0,100,100,dtype=np.int32)
z = np.linspace(0,100,100,dtype=np.int32)

Y = np.random.normal(size=(100,))
X = np.stack([x,y,z],axis=1)
reg = LinearRegression().fit(X,Y)

#now try to compute on dask arrays over the whole space
x= da.linspace(0,100,100,chunks=(10,)).astype(np.int32)
y= da.linspace(0,100,100,chunks=(10,)).astype(np.int32)
z= da.linspace(0,100,100,chunks=(10,)).astype(np.int32)
x,y,z = da.meshgrid(x,y,z,sparse=False,indexing='ij')
stacked = da.stack([x.flatten(),y.flatten(),z.flatten()],axis=1)
clf = ParallelPostFit(estimator=reg)
clf.predict(stacked)

执行clf.predict会引发值错误不能放置多于1个程序段的轴。请改用atop

我不知道该如何纠正。 谢谢您的帮助。

0 个答案:

没有答案