PERCPU：分配失败，size = 256 align = 256，无法分配新块。
每个CPU分配的空间量是否有限？
我可以在Linux内核模块编程中使用多少percpu空间？
现在我正在努力创建尽可能多的workqueue_struct。我的内核是3.10。
我的结果：我可以创建大约100000 workqueue_struct s，然后当我使用dmesg命令时，我会发现错误信息（与标题中的相同）。
我的代码：
#include <linux/module.h>
#include <linux/kernel.h>
#include <linux/init.h>
#include <linux/kthread.h>//kthread_create is_err
#include <linux/slab.h>//kfree
#include <linux/sched.h>//schedule
#include <linux/delay.h>
#include <linux/list.h>
#include <linux/workqueue.h>
u64 i = 0;
static LIST_HEAD(myworkqueuehead);
static struct task_struct *task;
struct MyworkqueueType {
struct list_head entry;
struct workqueue_struct *wq;
u64 number;
};
void myfree(void)
{
struct MyworkqueueType *tempwqtype,*n;
list_for_each_entry_safe(tempwqtype, n, &myworkqueuehead, entry)
{
if(tempwqtype)
{
if(tempwqtype->wq){
//printk("myfree():number=%lld\n",tempwqtype->number);
//printk("list_del()\n");
list_del(&(tempwqtype->entry));
//printk("destroy_workqueue()\n");
destroy_workqueue(tempwqtype->wq);
//printk("free tempwqtypetype:kfree(tempwqtype)\n");
kfree(tempwqtype);
//printk("after free tempwqtypetype\n");
}else{
printk("tempwqtype->wq is null\n");
}
}else{
printk("tempwqtype is null\n");
}
}
printk("has freed all the workqueue space...\n");
}
static int test(void *data)
{
printk("kthread create_wq start to run test()...\n");
while(1)
{
struct MyworkqueueType *myworkqueue;
if(kthread_should_stop())
{
printk("create_wq kthread begin to do myfree()...\n");
myfree();
printk("create_wq kthread stop...\n");
return 0;
}
myworkqueue = kzalloc(sizeof(*myworkqueue), GFP_KERNEL);
if(myworkqueue){
struct workqueue_struct *wq = alloc_workqueue("myworkqueue",0,0);
//struct workqueue_struct *wq = create_workqueue("myworkqueue");
if(!wq)
{
struct MyworkqueueType *mytype;
kfree(myworkqueue);
printk("\ncreate workqueue fail...\n");
mytype = list_entry(myworkqueuehead.prev, struct MyworkqueueType, entry);
printk("current workqueue number=%lld.start to sleep...\n",mytype->number);
msleep(5000);
schedule();
continue;
}
++i;
myworkqueue->number = i;
myworkqueue->wq = wq;
INIT_LIST_HEAD(&myworkqueue->entry);
list_add_tail(&myworkqueue->entry,&myworkqueuehead);
printk("%lld ",i);
}
else
{
printk("\nalloc struct MyworkqueueType fail...\n");
printk("current workqueuenum = %lld",i);
kfree(myworkqueue);
msleep(5000);
schedule();
continue;
}
}
}
static int __init maxwqnum_init(void)
{
printk("-----------maxwqnum-------------\n");
task=kthread_create(test,NULL,"create_wq");
if(IS_ERR(task))
{
printk("create task_struct create_wq fail...\n");
kfree(task);
return 0;
}
printk("create task_struct create_wq success...\n");
wake_up_process(task);
return 0;
}
static void __exit maxwqnum_cleanup(void)
{
kthread_stop(task);
printk("-----------leaving maxwqnum-------------\n");
}
module_init(maxwqnum_init);
module_exit(maxwqnum_cleanup);
MODULE_LICENSE("GPL");
MODULE_AUTHOR("mjq");
MODULE_DESCRIPTION("just a test!");
MODULE_SUPPORTED_DEVICE("WORKQUEUE");
答案 0 :(得分：2)
来自每个cpu池的模块中可用的最大块取决于已在Linux内核中加载的其他模块的当前使用情况。
percpu池的大小取决于是否在内核配置中定义了以下配置。
CONFIG_HAVE_SETUP_PER_CPU_AREA CONFIG_SMP 启动时每个cpu池的典型初始大小为32KB per cpu。
如果定义了特定于体系结构的setup_per_cpu_area()函数，则可能会有所不同。在Linux内核引导期间，为percpu池保留的确切内存量将记录到控制台。例如， Intel Core 2 Duo P8700 计算机上的 Linux kernel 3.2 ，记录以下内容：
PERCPU: Embedded 13 pages/cpu @f77d1000 s31616 r0 d21632 u53248
percpu池是13页，即每个cpu 52KB， 104KB 总计。其他数字分别为base address，static_size，reserved_size，dyn_size和unit_size。
更新：
编译Linux内核模块（来自上述问题中的代码）和insmod，导致以下错误：
[867955.300798] create workqueue fail...
[867955.300804] current workqueue number=198634.start to sleep...
[867960.315934] PERCPU: allocation failed, size=92 align=256, failed to allocate new chunk
[867960.315948] Pid: 26103, comm: create_wq Tainted: G O 3.2.0-51-generic #77-Ubuntu
[867960.315955] Call Trace:
[867960.315973] [<c1563ac4>] ? printk+0x2d/0x2f
[867960.315986] [<c110335e>] pcpu_alloc+0x30e/0x340
[867960.315995] [<c110339f>] __alloc_percpu+0xf/0x20
[867960.316032] [<c10641b0>] __alloc_workqueue_key+0xd0/0x430
[867960.316047] [<c1122f75>] ? kmem_cache_alloc_trace+0x105/0x140
[867960.316065] [<f93e50e6>] test+0x56/0x194 [kmod]
[867960.316078] [<f93e5090>] ? myfree+0x90/0x90 [kmod]
[867960.316091] [<c1069ddd>] kthread+0x6d/0x80
[867960.316104] [<c1069d70>] ? flush_kthread_worker+0x80/0x80
[867960.316118] [<c158033e>] kernel_thread_helper+0x6/0x10
基本上，当请求额外的每个cpu块时，dyn_size可以根据需要使用calls to pcpu_alloc_chunk()增长。这在内部使用标准kmalloc()调用来获取所需的额外内存。只要所需大小和对齐的内存块继续可用，这将继续。最终，这将失败，具体取决于系统内存的使用/碎片，即当您看到 error 时。
pcpu_alloc()如何运作？在初始启动时，per-cpu子系统从Linux内核可用的全局内存中保留一小段内存。
PERCPU: Embedded 13 pages/cpu @f77d1000 s31616 r0 d21632 u53248
这是日志描述的内容。
静态 31616 +动态 21632 =总 53248 ，即52KB（13页每页4KB）。
随着使用pcpu_alloc()越来越多的每个cpu分配，动态池的大小不断增长。它可以是非连续的，甚至在内存中也是稀疏的。但只要满足所要求的对齐和尺寸要求，这将继续成功。这是因为使用kmalloc()/vmalloc()进行分配。
最终其中一个调用失败，因为满足所请求的大小/对齐的内存孔不可用。这就是它。正如无法预测memalign()来电是否成功一样，很难准确确定pcpu_alloc()何时失败。特别是因为即使其他模块（以及Linux内核本身）也可以调用pcpu_alloc()。
有关详细信息，请参阅Linux-kernel/mm/percpu.c。