Question

有没有办法可以使用截止日期调度，同时为linux中的进程设置cpu亲和性？我正在运行4.16内核。以下是我的测试代码：

#define _GNU_SOURCE
#include "include/my_sched.h"
#include <stdio.h>
#include <time.h>
#include <sys/time.h>

int main() {
    struct sched_attr attr;
    int x = 0;
    int ret;
    unsigned int flags = 0;
    long int tid = gettid();

    printf("deadline thread started [%ld]\n", tid);

    /* Set scheduling properties */
    attr.size = sizeof(attr);
    attr.sched_flags = 0;
    attr.sched_nice = 0;
    attr.sched_priority = 0;

    /* This creates a 100ms/300ms reservation */
    attr.sched_policy = SCHED_DEADLINE;
    attr.sched_runtime = 100 * 1000 * 1000;
    attr.sched_period = attr.sched_deadline = 300 * 1000 * 1000;

    ret = sched_setattr(0, &attr, flags);
    if (ret != 0) {
        done = 0;
        perror("sched_setattr");
        printf("exit!\n");
        exit(-1);
    }

    /* Set CPU affinity */
    cpu_set_t  mask;
    CPU_ZERO(&mask);
    CPU_SET(0, &mask);
    ret = sched_setaffinity(0, sizeof(mask), &mask);

    if (ret != 0) {
        done = 0;
        perror("sched_setaffinity");
        printf("exit!\n");
        exit(-1);
    }


    return 0;
}

即使我编译上面的程序并在sudo中运行它，我也收到错误：

sched_setaffinity: Device or resource busy

如果我交换了sched_setattr（）和sched_setaffinity（）的顺序，我得到了一个不同的错误：

sched_setattr: Operation not permitted

即使我在sudo中也会发生这种情况。

我的代码有问题吗？为什么我不能在同一个程序中使用sched_setaffinity（）和sched_setattr（）以及截止日期安排？

对于有兴趣编译和试用该程序的人，下面是my_include.h的代码：

#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <time.h>
#include <linux/unistd.h>
#include <linux/kernel.h>
#include <linux/types.h>
#include <sys/syscall.h>
#include <pthread.h>

#define gettid() syscall(__NR_gettid)

#define SCHED_DEADLINE  6

/* XXX use the proper syscall numbers */
#ifdef __x86_64__
#define __NR_sched_setattr      314
#define __NR_sched_getattr      315
#endif

#ifdef __i386__
#define __NR_sched_setattr      351
#define __NR_sched_getattr      352
#endif

#ifdef __arm__
#define __NR_sched_setattr      380
#define __NR_sched_getattr      381
#endif

static volatile int done;

struct sched_attr {
    __u32 size;

    __u32 sched_policy;
    __u64 sched_flags;

    /* SCHED_NORMAL, SCHED_BATCH */
    __s32 sched_nice;

    /* SCHED_FIFO, SCHED_RR */
    __u32 sched_priority;

    /* SCHED_DEADLINE (nsec) */
    __u64 sched_runtime;
    __u64 sched_deadline;
    __u64 sched_period;
};

int sched_setattr(pid_t pid,
        const struct sched_attr *attr,
        unsigned int flags)
{
    return syscall(__NR_sched_setattr, pid, attr, flags);
}

int sched_getattr(pid_t pid,
        struct sched_attr *attr,
        unsigned int size,
        unsigned int flags)
{
    return syscall(__NR_sched_getattr, pid, attr, size, flags);
}

我做了什么：

我试图挖掘进行相应健全性检查的内核代码。以下代码段来自kernel/sched/core.c：

/*
 * Don't allow tasks with an affinity mask smaller than
 * the entire root_domain to become SCHED_DEADLINE. We
 * will also fail if there's no bandwidth available.
 */
if (!cpumask_subset(span, &p->cpus_allowed) ||
    rq->rd->dl_bw.bw == 0) {
    task_rq_unlock(rq, p, &rf);
    return -EPERM;
}

... 

/*
 * Since bandwidth control happens on root_domain basis,
 * if admission test is enabled, we only admit -deadline
 * tasks allowed to run on all the CPUs in the task's
 * root_domain.
 */
#ifdef CONFIG_SMP
if (task_has_dl_policy(p) && dl_bandwidth_enabled()) {
    rcu_read_lock();
    if (!cpumask_subset(task_rq(p)->rd->span, new_mask)) {
        retval = -EBUSY;
        rcu_read_unlock();
        goto out_free_new_mask;
    }
    rcu_read_unlock();
}

以上两节对应我前面提到的那两个错误。任何人都可以向我解释评论意味着什么吗？我知道调度域和根域是什么，但我不知道SCHED_DEADLINE任务与调度域的其他调度策略有何不同？为什么将SCHED_DEADLINE任务绑定到特定核心没有意义？

Answer 1

经过一些挖掘，我终于很清楚为什么设置亲和力会导致SCHED_DEADLINE调度程序出现问题。

对于只想将EDF任务绑定到核心子集的任何人，可以参考https://elixir.bootlin.com/linux/v4.17-rc3/source/Documentation/scheduler/sched-deadline.txt#L634，第5节。您可以使用cpuset和cgroup实用程序为EDF任务分配核心。

禁止SCHED_DEADLINE任务的sched_setaffinity（）是一种保守的方法，可确保在Linux内核中进行有效的可调度性测试。考虑以下场景，其中机器具有9个核心，任务1希望与核心1,2,4,5具有亲缘关系，而任务2希望与核心3,4,5,6,7,8具有亲缘关系。 / p>

事实证明，如果不同SCHED_DEADLINE任务的亲和力掩码重叠一部分，则可调度性测试成为NP难题。因此，没有有效的方法来确定任务集是否可调度。任意核心亲和力的现有可调度性测试需要指数计算复杂性。为这种可调度性测试添加功能将极大地降低内核的性能。

但是，我认为这是从内核的角度实现可调度性的保守方法。这是因为如果linux管理员知道他在做什么，他可以故意将所有SCHED_DEADLINE任务映射到特定的核心子集。在以下示例中，我们可以将核心1,2,4,5专用于EDF任务。效果与使用cpuset方法没有什么不同。无论如何，sched_setaffinity（）能够模拟全局，集群和分区的作业级固定优先级调度。

<强>参考：

Gujarati，A.，Cerqueira，F。，＆amp; Brandenburg，B.B。（2014）。具有任意处理器亲和力的多处理器实时调度：从实践到理论。实时系统，51,440-483。

SCHED_DEADLINE的sched_setaffinity（）

1 个答案: