Question

我在Google Compute Engine上运行python并行CPU密集型任务。因此，我可以运行它的vCPU数量越多，速度就越快。

我已经读过创建一个大小超过可用vCPU数量的多处理池没有意义，这是有意义的，所以我使用{{1确定multiprocessing.dummy.Pool池的大小}}

我使用gcloud Kubernetes Engine在Pod中运行此脚本，并在开发期间在少于96个vCPU的计算机上进行测试。自动确定的池大小似乎总是与vCPU的数量相匹配。但是，在具有96个vCPU的计算机上运行它，multiprocessing.cpu_count()将返回64而不是96.我不在乎手动将该大小设置为96但问题是，如果python，我将从这些额外的32个vCPU中受益吗？不是＆＃34;意识到＆＃34;他们？

该机器是运行容器优化操作系统（cos）的n1-highcpu-96（96个vCPU，86.4 GB内存）。 Python版本是3.6.3。

Answer 1

留言板上有一个答案，有人链接到该问题的注释中，但是，最好在此页面上找到答案以及一些解释。

简短的回答：在广告连播中运行grep -c ^processor /proc/cpuinfo-此数字应与multiprocessing.cpu_count()一致。如果是这样，您可以信任multiprocessing.cpu_count()。

但是，AFAICT可以识别节点上的所有核心，并完全忽略在Kubernetes部署YAML中设置的资源限制。例如，您的部署文件可能包含：

spec:
  containers:
  - image: IMAGENAME
    name: LABEL
    ports:
    - containerPort: 5000
    resources:
      limits:
        cpu: 100m
        memory: 400M
      requests:
        cpu: 50m
        memory: 200M

在this article中，作者提供了以下功能，该功能尊重资源的限制（不是请求）：

import math
from pathlib import Path


def get_cpu_quota_within_docker():
    cpu_cores = None

    cfs_period = Path("/sys/fs/cgroup/cpu/cpu.cfs_period_us")
    cfs_quota = Path("/sys/fs/cgroup/cpu/cpu.cfs_quota_us")

    if cfs_period.exists() and cfs_quota.exists():
        # we are in a linux container with cpu quotas!
        with cfs_period.open('rb') as p, cfs_quota.open('rb') as q:
            p, q = int(p.read()), int(q.read())

            # get the cores allocated by dividing the quota
            # in microseconds by the period in microseconds
            cpu_cores = math.ceil(q / p) if q > 0 and p > 0 else None

    return cpu_cores

因此，对于示例YAML，该除法得出0.1，但是对ceil的调用的b / c则返回1.0。因此，您可能正在寻找类似以下内容的东西（假设您已定义了上面定义的功能get_cpu_quota_within_docker）

import multiprocessing

from somewhere import get_cpu_quota_within_docker

docker_cpus = get_cpu_quota_within_docker()
cpu_count = docker_cpus if docker_cpus else multiprocessing.cpu_count()

如果在python multiprocessing.cpu_count（）中返回64，我是否可以从gcloud计算引擎的96个vCPU中受益？

1 个答案: