Question

目前，我通过Python的psutil模块监控多个进程，并以百分比形式检索CPU使用率，该百分比基于execution_time/total_time。这样做的问题是动态电压和频率调节（DVFS，或ACPI的P状态，或cpufreq等）。当前CPU频率越低，进程需要执行的时间越长，CPU使用率就越高。与此相反，我需要相对于CPU的最大性能 fixed CPU使用率。

为避免永久性地改变“当前频率”的多次重新安装，一种方法是直接使用该过程使用的CPU周期。原则上，这可以通过C中的perf_event.h或Linux命令行上的perf来完成。不幸的是，我找不到一个提供类似功能的Python模块（基于前面提到的）。

Answer 1

感谢BlackJack的评论

如何在C中将其作为共享库实现并通过Python中的ctypes使用它？

库调用引入的开销更少。子进程调用启动整个外部进程，并在每次需要该值时将结果作为字符串传递给管道。共享库将一次加载到当前进程中，结果将在内存中传递。

我将其实现为共享库。库 cpucycles.c 的源代码（严重基于perf_event_open's man page的示例）：

#include <stdlib.h> #include <unistd.h> #include <string.h> #include <sys/ioctl.h> #include <linux/perf_event.h> #include <asm/unistd.h> static long perf_event_open(struct perf_event_attr *hw_event, pid_t pid, int cpu, int group_fd, unsigned long flags) { int ret; ret = syscall(__NR_perf_event_open, hw_event, pid, cpu, group_fd, flags); return ret; } long long cpu_cycles(unsigned int microseconds, pid_t pid, int cpu, int exclude_user, int exclude_kernel, int exclude_hv, int exclude_idle) { struct perf_event_attr pe; long long count; int fd; memset(&pe, 0, sizeof(struct perf_event_attr)); pe.type = PERF_TYPE_HARDWARE; pe.size = sizeof(struct perf_event_attr); pe.config = PERF_COUNT_HW_CPU_CYCLES; pe.disabled = 1; pe.exclude_user = exclude_user; pe.exclude_kernel = exclude_kernel; pe.exclude_hv = exclude_hv; pe.exclude_idle = exclude_idle; fd = perf_event_open(&pe, pid, cpu, -1, 0); if (fd == -1) { return -1; } ioctl(fd, PERF_EVENT_IOC_RESET, 0); ioctl(fd, PERF_EVENT_IOC_ENABLE, 0); usleep(microseconds); ioctl(fd, PERF_EVENT_IOC_DISABLE, 0); read(fd, &count, sizeof(long long)); close(fd); return count; }

此代码通过以下两个命令编译到共享库中：

$ gcc -c -fPIC cpucycles.c -o cpucycles.o $ gcc -shared -Wl,-soname,libcpucycles.so.1 -o libcpucycles.so.1.0.1 cpucycles.o

最后，Python可以在 cpucycles.py 中使用该库：

import ctypes import os cdll = ctypes.cdll.LoadLibrary(os.path.join(os.path.dirname(__file__), "libcpucycles.so.1.0.1")) cdll.cpu_cycles.argtypes = (ctypes.c_uint, ctypes.c_int, ctypes.c_int, ctypes.c_int, ctypes.c_int, ctypes.c_int, ctypes.c_int) cdll.cpu_cycles.restype = ctypes.c_longlong def cpu_cycles(duration=1.0, pid=0, cpu=-1, exclude_user=False, exclude_kernel=False, exclude_hv=True, exclude_idle=True): """ See man page of perf_event_open for all the parameters. :param duration: duration of counting cpu_cycles [seconds] :type duration: float :returns: cpu-cycle count of pid :rtype: int """ count = cdll.cpu_cycles(int(duration*1000000), pid, cpu, exclude_user, exclude_kernel, exclude_hv, exclude_idle) if count < 0: raise OSError("cpu_cycles(pid={}, duration={}) from {} exited with code {}.".format( pid, duration, cdll._name, count)) return count

Answer 2

最后，我通过perf命令行工具读取CPU周期并将其包装成Python（简化代码）：

import subprocess
maximum_cpu_frequency = 3e9
cpu_percent = []
while True:    # some stop criteria
    try:
        cpu_percent.append(int(
                subprocess.check_output(["perf", "stat", "-e", "cycles",
                        "-p", pid, "-x", ",", "sleep", "1"],
                        stderr=subprocess.STDOUT).decode().split(",")[0]
                )/maximum_cpu_frequency)
    except ValueError:
        cpu_percent.append(0.0)

不幸的是，这不是准确的，因为不精确的sleep命令以及由于为每个样本生成新的perf进程而有效。

关于最大CPU频率的进程/ pid的CPU使用率或CPU周期

2 个答案: