Question

我编写自己的参数搜索实现主要是因为我不需要对GridSearch和scikit-learn 的随机化搜索进行交叉验证。

我使用dask来提供最佳的分布式性能。

这就是我所拥有的：

from scipy.stats import uniform
class Params(object):
    def __init__(self,fixed,loc=0.0,scale=1.0):
        self.fixed=fixed
        self.sched=uniform(loc=loc,scale=scale)

    def _getsched(self,i,size):
        return self.sched.rvs(size=size,random_state=i)

    def param(self,i,size=None):
        tmp=self.fixed.copy()
        if size is None:
            size=tmp['niter']
        tmp.update({'schd':self._getsched(i,size)})
        return tmp    

class Mymodel(object):
    def __init__(self,func,params_object,score,ntries,client):
        self.params=params_object
        self.func=func
        self.score=score
        self.ntries=ntries
        self.client=client

    def _run(self,params,train,test):
        return self.func(params,train,test,self.score)

    def build(self,train,test):
        res=[]
        for i in range(self.ntries):
            cparam=self.params.param(i)
            res.append( (cparam, self.client.submit(self._run, cparam, train,test)) )
        self._results=res
        return res

    def compute_optimal(self,res=None):
        from operator import itemgetter
        if res is None:
            res=self._results
        self._sorted=sorted(self.client.compute(res),key=itemgetter(1))

        return self._sorted[0]


def score(test,correct):
    return np.linalg.norm(test-correct)

def myfunc(params,ldata,data,score):
    schd=params['schd']
    niter=len(schd)
    #here I do some magic after which ldata is changing
    return score(test=ldata,correct=data)

启动dask.distributed后：

from distributed import Client
scheduler_host='myhostname:8786'
cli=Client(scheduler_host)

我这样运行：

%%time
params=Params({'niter':50},loc=1.0e-06,scale=1.0)
model=Mymodel(myfunc,params,score,100,cli)
ptdata=bad_data_example.copy()
graph=model.build(ptdata,good_data)

得到这个：

distributed.protocol.pickle - INFO - Failed to serialize
<bound method Mymodel._run of <__main__.Mymodel object at 0x2b8961903050>>.
Exception: can't pickle thread.lock objects

你能帮我理解发生了什么以及如何解决这个问题吗？

我也很好奇我在所有参数结果中找到最小的方式。 使用Dask有更好的方法吗？

我写的代码相当快，从未尝试过连续编写。我正在学习Dask以及许多其他主题（机器学习，gpu编程，Numba，Python OOP等），因此这段代码无论如何都不是最佳的......

P.S。要实际执行它，我使用此调用：model.compute_optimal()。还没到这里 - 由于上面的错误。

Answer 1

要解决当前的问题：Mymodel具有属性client，因为无法序列化客户端。如果需要，请使用client代替distributed.get_client作为属性。

我将在工作中完全使用dask-searchcv-当我需要交叉验证时-但现在它实际上只是对最佳解决方案的简单搜索-因此必须创建自己的实现...

Dask-ML还具有许多超参数搜索功能。以下是一个很好的概述：https://ml.dask.org/hyper-parameter-search.html

默认情况下，这些搜索中的很多都不会进行严格的交叉验证，因为它们假定数据很大（请参阅IncrementalSearchCV）。这些搜索中的某些搜索有花哨的方法可以减少计算量（请参见HyperbandSearchCV）。

Answer 2

看起来主要问题是由于我试图映射函数的方法。我也遇到了与joblib类似的问题。所以我重新编码了问题并删除了所有类。

以下是有关优化的问题：Parameter search using dask

我将在我的工作中定义使用dask-searchcv - 当我需要交叉验证时 - 但是现在它只是一个简单的搜索最佳解决方案 - 所以必须创建我自己的实现...

自定义参数搜索类使用Dask分发时的thread.lock

2 个答案: