在被调用的core_pattern过程中调用sched_setaffinity失败

时间:2018-09-19 12:20:29

标签: linux linux-kernel

我将/ proc / sys / kernel / core_pattern设置为将核心转储管道传输到我的程序。该程序调用一个shell脚本(使用“系统”),然后依次调用我的测试程序。此测试程序尝试为任何CPU调用sched_setaffinity,该失败,EINVAL。直接从shell脚本(以root用户身份运行)调用的同一测试程序可以正常运行。

woocommerce_product_get_price

直接从根shell调用时记录的输出:

#include <stdio.h>      
#include <stdlib.h>     
#include <unistd.h>
#include <signal.h>
#include <errno.h>
#include <string.h>
#include <string>
#include <sys/time.h>
#include <sys/resource.h>
#include <syslog.h>


typedef unsigned long long int UINT64;

// Functions to convert Linux CPU list to/from UINT64
static UINT64 GetCpuMask(cpu_set_t* cpuSet)
{
    UINT64 mask = 0;
    const int maxCpus = CPU_SETSIZE < 64?CPU_SETSIZE:64;
    for (int cpu = 0; cpu < maxCpus; cpu++){
        mask |= CPU_ISSET(cpu, cpuSet)? 1ll<<cpu : 0;
    }
    return mask;
}
static void GetCpuSet(UINT64 mask, cpu_set_t* cpuSet)
{
    const int maxCpus = CPU_SETSIZE < 64?CPU_SETSIZE:64;
    CPU_ZERO(cpuSet);
    for (int cpu = 0; cpu < maxCpus; cpu++){
        if (1ll<<cpu & mask){
            CPU_SET(cpu, cpuSet);
        }
    }
}
UINT64 GetThreadAffinityMask()
{
    cpu_set_t cpuSet;

    if (!sched_getaffinity(0, sizeof(cpu_set_t), &cpuSet)){
        return GetCpuMask(&cpuSet);
    }
    syslog (LOG_ERR, "sched_getaffinity fails, errno %d:%s", errno, strerror(errno));
    return 0;
}

int main( int argc, char *argv[] )
{
// Temp test...
    setlogmask (LOG_UPTO (LOG_INFO)); // unless overridden in config file
    openlog ("proc3", LOG_CONS | LOG_PID | LOG_NDELAY, LOG_USER );

    UINT64 old_mask=GetThreadAffinityMask();
    syslog (LOG_INFO, "old_mask 0x%x", old_mask);

    cpu_set_t testCpuSet;
    for (int cpu = 0; cpu < 16; cpu++){
        CPU_ZERO(&testCpuSet);
        CPU_SET(cpu, &testCpuSet);
        UINT64 try_mask = GetCpuMask(&testCpuSet);
        if (!sched_setaffinity(0, sizeof(cpu_set_t), &testCpuSet)){
            syslog (LOG_INFO, "sched_setaffinity OK, cpu %d (mask 0x%x)",cpu, try_mask);
            UINT64 new_mask = GetThreadAffinityMask();
            syslog (LOG_INFO, "new_mask 0x%x", new_mask);
        } else {
            syslog (LOG_INFO, "sched_setaffinity, cpu %d errno %d:%s", cpu, errno, strerror(errno));
        }
    }
}

从转储钩子调用时记录的输出:

Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: old_mask 0xf
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity OK, cpu 0 (mask 0x1)
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: new_mask 0x1
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity OK, cpu 1 (mask 0x2)
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: new_mask 0x2
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity OK, cpu 2 (mask 0x4)
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: new_mask 0x4
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity OK, cpu 3 (mask 0x8)
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: new_mask 0x8
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 4 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 5 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 6 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 7 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 8 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 9 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 10 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 11 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 12 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 13 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 14 errno 22:Invalid argument
Sep 19 11:42:43 apxdev-cjn-1 proc3[9122]: sched_setaffinity, cpu 15 errno 22:Invalid argument

1 个答案:

答案 0 :(得分:2)

除了内核版本,答案是:

看来EINVAL调用中的sched_setaffinity是由于在任务标志中设置了PF_NO_SETAFFINITY标志。在大多数内核线程中都启用了此标志,以确保用户级程序不会以不适当的方式操纵内核线程的亲和力。

在更高版本的内核中,代码已添加到flush_old_exec中的fs/exec.c函数中,从而导致在执行用户级帮助程序(例如,由此处的管道core_pattern函数。)

OP指定的内核版本的源位于https://buildlogs.centos.org/c7.1511.u/kernel/20160217024115/3.10.0-327.10.1.el7.x86_64/。该版本不包含执行用户模式程序时清除PF_SET_NOAFFINITY的代码。

此标志将由子进程继承(AFAICT:整个任务结构已复制,我看不到任何可以清除它的东西)。

根据https://www.kernel.org/doc/Documentation/filesystems/proc.txtflags的值应在/proc/<pid>/stat中可见(此版本中的PF_SET_NOAFFINITY#定义为0x04000000)。您应该能够在那里解码值,并确定是否设置了该标志。