Question

If the answer is yes, what will be a simple example to test this capability?

I have tried to use the multiprocessing capabilities of SFrame and implicit. But the CPU utilization is always below 10% of a n1-highmem-32 (32 vCPUs, 208 GB memory) instance.

import os
os.environ['OMP_NUM_THREADS'] = "25"
import sframe
sframe.set_runtime_config('GRAPHLAB_DEFAULT_NUM_PYLAMBDA_WORKERS', 25)


import implicit
item_factors, user_factors = implicit.alternating_least_squares(train, 2)

Answer 1

对于延迟回答感到抱歉。 Jupyter Python内核本身是单线程的。我不确定具体的sframe库，但这不是Datalab以任何方式做任何特殊事情的事情。我们在Jupyter中使用标准的Python内核。也许您可以将问题标记为sframe一个？

我们已经看到一些客户为团队使用n个CPU，以便单独的内核可以在不同的CPU上运行。但是，一般来说，对于单个用户来说，高内存选项比多CPU虚拟机更好。

另外，我们发布了一个测试版刷新版本，可让您在本地运行Datalab，并在GCE中运行内核。如果您有兴趣，请查看：https://cloud.google.com/datalab/docs/quickstarts/

感谢。 Dinesh Kulkarni 产品经理，Datalab＆amp; Cloud ML

Can multiple CPU cores be used in Google Datalab?

1 个答案: