Question

我需要创建无限循环并使用线程池创建例如200个线程来完成无限循环的工作。

我正在使用此线程池 - https://github.com/Pithikos/C-Thread-Pool

同时我监控服务器资源（使用htop）并看到内存每秒增加3兆字节，直到内核杀死应用程序。

代码：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <pthread.h>
#include "thpool.h"


#define MAX_IPv4 256


/* Args for thread start function */
typedef struct {
    int octet1;
    int octet2;
    int octet3;
    int octet4;
} args_struct;

/* Thread task */
void task1(void *args) {

    args_struct *actual_args = args;

    printf("%d.%d.%d.%d\n", actual_args->octet1, actual_args->octet2, actual_args->octet3, actual_args->octet4);

    /* Do some job */
    sleep(1);   

    /* Free the args */
    free(args);
}


/* Main function */
int main( void ) {

    int i=0, j=0, n=0, m=0;

    /* Making threadpool n threads */
    threadpool thpool = thpool_init(200);

    /* Infinite loop start from the certain ip*/
    while (1) {
        for (i=0; i < MAX_IPv4; ++i) {
            for (j=0; j < MAX_IPv4; ++j) {
                for (n=0; n < MAX_IPv4; ++n) {
                    for (m=0; m < MAX_IPv4; ++m) {

                            /* Heap memory for the args different for the every thread */
                            args_struct *args = malloc(sizeof *args);
                            args->octet1 = i;
                            args->octet2 = j;
                            args->octet3 = n;
                            args->octet4 = m;

                            /* Create thread */
                            thpool_add_work(thpool, (void*)task1, (void*)args);
                    }
                }
            }
        }

        /* Start from 0.0.0.0 */
        i=0; 
        j=0; 
        n=0; 
        m=0;
    }

    /* Wait until the all threads are done */
    thpool_wait(thpool);

    /* Destroy the threadpool */
    thpool_destroy(thpool);

    return 0;
}

如何解决这个问题？

Answer 1

查看您的库的问题（特别是关于内存消耗的this one）。

建议检查作业队列长度threadpool.jobqueue.len;

将您的作业添加到队列后，可能会检查您的代码

不幸的是，threadpool是一个不透明的指针，你无法直接访问该值。

我建议在thpool.c中为线程池添加一个函数：

int thpool_jobqueue_length(thpool_* thpool_p) {
    return thpool->jobqueue->len;
}

请勿忘记thpool.h

中的声明

int thpool_jobqueue_length(threadpool);

然后修改你的代码

const int SOME_ARBITRARY_VALUE = 400
...
thpool_add_work(thpool, (void*)task1, (void*)args);
while( ( thpool_jobqueue_length(thpool) > SOME_ARBITRARY_VALUE ) ) {
    sleep(1);
}
...

Answer 2

查看thpool_add_work的代码，每次调用都有一些内存使用（分配一个作业记录添加到队列中），所以当你的循环永远运行时，内存耗尽就不足为奇了在某一点。你也在最里面的循环中分配内存，这样也有助于耗尽你所有的记忆。

基本上在你的内部循环中你为args_struct分配16个字节（假设int是4），而thpool_add_work也分配12个字节（为了对齐目的，可能四舍五入到16）。

正如您可以想象的那样，对于您的4个嵌套循环（也可以无限运行），这会增加很多。

C，Linux中的线程池中的内存不足

2 个答案: