在基于Eel Web的前端上使用python Dask的问题

时间:2019-12-30 17:58:47

标签: python user-interface parallel-processing dask eel

我正在使用eel创建一个基于Web的应用程序,因此我可以在后端使用python。 我正在做的部分工作需要使用Fuzzywuzzy,而我正在使用Dask来加快速度。

我遇到的问题是执行Dask部分时!看来,对于我运行的每个进程,它都会旋转一个新的UI屏幕,本质上每个实例都执行eel.start。

说实话,我对并行处理没有很好的理解,或者鳗鱼的内部工作原理不佳,所以如果我需要您为我自己讲清楚,请原谅我,但是有什么办法可以解决这个问题并让Dask工作用鳗鱼?

除非有询问,否则我不会列出所有代码,但基本上,从Web UI单击后,将执行以下eel.exposed的代码段:

dmaster = dd.from_pandas(df, npartitions=8)

dmaster['fuzzyscore'] = dmaster.apply(get_ratio, axis=1)

df2 = dmaster.compute(scheduler='processes')

注意:

1)在此工作之前,我使用Eel运行的所有其他功能等都以完全相同的方式完成

2)在不使用eel作为界面的情况下测试此Dask脚本时,它也可以正常工作。

欢迎任何帮助!如果需要,可以提供更多信息。

0 个答案:

没有答案