如何从源代码编译我自己的glibc C标准库并使用它?

时间:2012-05-02 11:19:52

标签: c linux gcc x86-64 glibc

我正在尝试编译自己的glibc。我有一个目录glibc,其中包含我从互联网上下载的glibc源代码。从该目录我输入mkdir ../build-glibc。现在,我从build-glibc目录输入../glibc/configure,执行配置。现在我不确定如何拨打make。我无法从glibc目录中调用它,因为它没有配置集,也不能从build-glibc调用它,因为makefile不在该目录中。我该如何解决这个问题?

4 个答案:

答案 0 :(得分:8)

如果Makefile脚本成功完成,build-glibc目录中将存在configure

如果似乎configure期间仍然没有Makefile,那么你可能错过了一个特质:

为glibc执行configure时,通常会提供备用--prefix,因为安装到默认位置(/usr/local)可能会使系统崩溃。如果您没有提供,则需要打开--disable-sanity-checks

如果不是这种情况,请查找config.log文件,并阅读其内容。

答案 1 :(得分:7)

设置1:没有专用GCC的glibc

此设置可能有效并且快速,因为它不会重新编译整个GCC工具链,而只是glibc。

但是它不可靠,因为它使用glibc提供的主机C运行时对象,例如crt1.ocrti.ocrtn.o。在https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location中提到了这些对象,这些对象会进行glibc所依赖的早期设置,因此,如果事情以奇妙而又微妙的方式崩溃,我也不会感到惊讶。

有关更可靠的设置,请参阅下面的设置2。

构建glibc并在本地安装:

export glibc_install="$(pwd)/glibc/build/install"

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28
mkdir build
cd build
../configure --prefix "$glibc_install"
make -j `nproc`
make install -j `nproc`

设置1:验证版本

test_glibc.c

#define _GNU_SOURCE
#include <assert.h>
#include <gnu/libc-version.h>
#include <stdatomic.h>
#include <stdio.h>
#include <threads.h>

atomic_int acnt;
int cnt;

int f(void* thr_data) {
    for(int n = 0; n < 1000; ++n) {
        ++cnt;
        ++acnt;
    }
    return 0;
}

int main(int argc, char **argv) {
    /* Basic library version check. */
    printf("gnu_get_libc_version() = %s\n", gnu_get_libc_version());

    /* Exercise thrd_create from -pthread,
     * which is not present in glibc 2.27 in Ubuntu 18.04.
     * https://stackoverflow.com/questions/56810/how-do-i-start-threads-in-plain-c/52453291#52453291 */
    thrd_t thr[10];
    for(int n = 0; n < 10; ++n)
        thrd_create(&thr[n], f, NULL);
    for(int n = 0; n < 10; ++n)
        thrd_join(thr[n], NULL);
    printf("The atomic counter is %u\n", acnt);
    printf("The non-atomic counter is %u\n", cnt);
}

编译并运行test_glibc.sh

#!/usr/bin/env bash
set -eux
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux-x86-64.so.2" \
  -std=c11 \
  -o test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
ldd ./test_glibc.out
./test_glibc.out

程序输出预期的结果:

gnu_get_libc_version() = 2.28
The atomic counter is 10000
The non-atomic counter is 8674

改编自https://sourceware.org/glibc/wiki/Testing/Builds?action=recall&rev=21#Compile_against_glibc_in_an_installed_location的命令,但--sysroot使其失败,并显示以下内容:

cannot find /home/ciro/glibc/build/install/lib/libc.so.6 inside /home/ciro/glibc/build/install

所以我删除了它。

ldd的输出确认我们刚刚构建的ldd和库实际上正在按预期使用:

+ ldd test_glibc.out
        linux-vdso.so.1 (0x00007ffe4bfd3000)
        libpthread.so.0 => /home/ciro/glibc/build/install/lib/libpthread.so.0 (0x00007fc12ed92000)
        libc.so.6 => /home/ciro/glibc/build/install/lib/libc.so.6 (0x00007fc12e9dc000)
        /home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)

gcc编译调试输出显示使用了我的主机运行时对象,如上所述,这很糟糕,但是我不知道如何解决它,例如它包含:

COLLECT_GCC_OPTIONS=/usr/lib/gcc/x86_64-linux-gnu/7/../../../x86_64-linux-gnu/crt1.o

设置1:修改glibc

现在让我们用以下命令修改glibc:

diff --git a/nptl/thrd_create.c b/nptl/thrd_create.c
index 113ba0d93e..b00f088abb 100644
--- a/nptl/thrd_create.c
+++ b/nptl/thrd_create.c
@@ -16,11 +16,14 @@
    License along with the GNU C Library; if not, see
    <http://www.gnu.org/licenses/>.  */

+#include <stdio.h>
+
 #include "thrd_priv.h"

 int
 thrd_create (thrd_t *thr, thrd_start_t func, void *arg)
 {
+  puts("hacked");
   _Static_assert (sizeof (thr) == sizeof (pthread_t),
                   "sizeof (thr) != sizeof (pthread_t)");

然后重新编译并重新安装glibc,然后重新编译并重新运行我们的程序:

cd glibc/build
make -j `nproc`
make -j `nproc` install
./test_glibc.sh

我们看到hacked印刷了几次。

这进一步证实了我们实际上使用了编译的glibc而不是宿主的glibc。

在Ubuntu 18.04上测试。

设置2:crosstool-NG原始设置

这是设置1的替代方法,它是我迄今为止所实现的最正确的设置:据我观察,一切都是正确的,包括C运行时对象,例如crt1.o,{{1 }}和crti.o

在此设置中,我们将编译使用所需glibc的完整专用GCC工具链。

此方法的唯一缺点是构建将花费更长的时间。但是我不会冒任何减少生产设置的风险。

crosstool-NG是一组脚本,可以为我们下载并编译所有内容,包括GCC,glibc和binutils。

是的,GCC构建系统太糟糕了,为此我们需要一个单独的项目。

此设置并不完美,因为crosstool-NG does not support building the executables without extra -Wl flags自我们构建GCC以来感觉很奇怪。但这一切似乎都可行,所以这只是一个不便。

获取crosstool-NG,对其进行配置和构建:

crtn.o

构建大约需要三十分钟到两个小时。

我可以看到的唯一强制性配置选项是使其与您的主机内核版本匹配,以使用正确的内核头文件。使用以下命令查找主机内核版本:

git clone https://github.com/crosstool-ng/crosstool-ng
cd crosstool-ng
git checkout a6580b8e8b55345a5a342b5bd96e42c83e640ac5
export CT_PREFIX="$(pwd)/.build/install"
export PATH="/usr/lib/ccache:${PATH}"
./bootstrap
./configure --enable-local
make -j `nproc`
./ct-ng x86_64-unknown-linux-gnu
./ct-ng menuconfig
env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

向我显示

uname -a

所以在4.15.0-34-generic 中,我这样做了:

  • menuconfig
    • Operating System

所以我选择:

Version of linux

是第一个相同或更低的版本。它必须更旧,因为内核是向后兼容的。

设置2:可选配置

我们用4.14.71 生成的.config具有:

./ct-ng x86_64-unknown-linux-gnu

要更改此设置,请在CT_GLIBC_V_2_27=y 中执行以下操作:

  • menuconfig
  • C-library

保存Version of glibc,然后继续构建。

或者,如果您想使用自己的glibc来源,例如要从最新的git使用glibc,请继续进行like this

  • .config
    • Paths and misc options:设置为true
  • Try features marked as EXPERIMENTAL
    • C-library
      • Source of glibc:说是
      • Custom location
        • Custom location:指向包含您的glibc源代码的目录

glibc的克隆位置为:

Custom source location

设置2:进行测试

一旦构建了所需的工具链,请使用以下工具进行测试:

git clone git://sourceware.org/git/glibc.git
cd glibc
git checkout glibc-2.28

一切似乎都和安装程序1一样,除了现在使用了正确的运行时对象:

#!/usr/bin/env bash
set -eux
install_dir="${CT_PREFIX}/x86_64-unknown-linux-gnu"
PATH="${PATH}:${install_dir}/bin" \
  x86_64-unknown-linux-gnu-gcc \
  -Wl,--dynamic-linker="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib/ld-linux-x86-64.so.2" \
  -Wl,--rpath="${install_dir}/x86_64-unknown-linux-gnu/sysroot/lib" \
  -v \
  -o test_glibc.out \
  test_glibc.c \
  -pthread \
;
ldd test_glibc.out
./test_glibc.out

设置2:有效的glibc重新编译尝试失败

使用crosstool-NG似乎无法实现,如下所述。

如果您只是重新构建;

COLLECT_GCC_OPTIONS=/home/ciro/crosstool-ng/.build/install/x86_64-unknown-linux-gnu/bin/../x86_64-unknown-linux-gnu/sysroot/usr/lib/../lib64/crt1.o

然后会考虑您对自定义glibc源位置所做的更改,但它会从头开始构建所有内容,因此无法用于迭代开发。

如果我们这样做:

env -u LD_LIBRARY_PATH time ./ct-ng build CT_JOBS=`nproc`

它很好地概述了构建步骤:

./ct-ng list-steps

因此,我们看到glibc步骤与多个GCC步骤交织在一起,最明显的是Available build steps, in order: - companion_tools_for_build - companion_libs_for_build - binutils_for_build - companion_tools_for_host - companion_libs_for_host - binutils_for_host - cc_core_pass_1 - kernel_headers - libc_start_files - cc_core_pass_2 - libc - cc_for_build - cc_for_host - libc_post_cc - companion_libs_for_target - binutils_for_target - debug - test_suite - finish Use "<step>" as action to execute only that step. Use "+<step>" as action to execute up to that step. Use "<step>+" as action to execute from that step onward. libc_start_files之前,这可能是与cc_core_pass_2一起最昂贵的步骤。

要仅构建一个步骤,必须首先在cc_core_pass_1选项中为初始构建设置“保存中间步骤”:

  • .config
    • Paths and misc options
      • Debug crosstool-NG

然后您可以尝试:

Save intermediate steps

但不幸的是,https://github.com/crosstool-ng/crosstool-ng/issues/1033#issuecomment-424877536

提到了env -u LD_LIBRARY_PATH time ./ct-ng libc+ -j`nproc`
  

但是请注意,在中间步骤重新启动会将安装目录重置为其在该步骤中的状态。也就是说,您将拥有一个重建的libc-但没有使用该libc构建的最终编译器(因此也没有像libstdc ++这样的编译器库)。

并且基本上仍然使重建速度太慢而无法进行开发,而且我不明白如何在不修补crosstool-NG的情况下克服这一问题。

此外,从+步骤开始,似乎没有从libc再次复制源代码,进一步使该方法不可用。

奖金:stdlibc ++

如果您还对C ++标准库感兴趣,那么将获得奖励:How to edit and re-build the GCC libstdc++ C++ standard library source?

答案 2 :(得分:2)

添加到 Ciro 之前的答案/解决方案 https://stackoverflow.com/a/52454710/4726668 :

@CiroSantilli 编辑您的答案会返回“建议的编辑队列已满”。您在 test_glibc.sh 脚本中调用的 ldd 脚本指向宿主动态链接器:/home/ciro/glibc/build/install/lib/ld-linux-x86-64.so.2 => /lib64/ld-linux-x86-64.so.2 (0x00007fc12f1b3000)。要解决此问题,请在 test_glibc.sh 中将 ldd 更改为 ${glibc_install}/bin/ldd。这将要求您将构建的 crt*.o 文件也添加到脚本中:

-nostartfiles \
${glibc_install}/lib/crti.o \
${glibc_install}/lib/crtn.o \
${glibc_install}/lib/crt1.o \

在我的 GNU/Linux i386/i686(32 位 x86 arch)机器上,以下是我的工作test_glibc.sh

#!/usr/bin/env bash
set -eux
gcc \
  -L "${glibc_install}/lib" \
  -I "${glibc_install}/include" \
  -Wl,--rpath="${glibc_install}/lib" \
  -Wl,--dynamic-linker="${glibc_install}/lib/ld-linux.so.2" \
  -std=c11 \
  -nostartfiles \
  ${glibc_install}/lib/crti.o \
  ${glibc_install}/lib/crtn.o \
  ${glibc_install}/lib/crt1.o \
  -o test_glibc.out \
  -v \
  test_glibc.c \
  -pthread \
;
${glibc_install}/bin/ldd ./test_glibc.out
./test_glibc.out

答案 3 :(得分:0)

上次于 2021 年 6 月 27 日在 Ubuntu 20.04 和 glibc 开发版本 2.33.9000(参见 glibc/version.h)上进行测试。

如何下载和构建 glibc,并运行其基准测试

您可以在此处手动获取 glibc 源代码:https://www.gnu.org/software/libc/sources.html

git clone https://sourceware.org/git/glibc.git
cd glibc
git checkout master

GitHub 上的第 3 方镜像:https://github.com/bminor/glibc/tree/master/benchtests

另见:

  1. https://kazoo.ga/a-simple-tool-to-test-malloc-performance/

如果您想手动构建 glibc 及其基准测试,请执行以下操作:

# IMPORTANT: begin AT THE SAME DIRECTORY LEVEL as the `glibc` source code 
# directory, NOT inside the `glibc` source code dir! In other words, if 
# you are in the correct dir, running `ls` will show the `glibc` source
# code dir (that you just cloned) inside the dir you are in.
mkdir -p glibc-build
mkdir -p glibc-install
cd glibc-build
../glibc/configure --prefix="$(realpath "../glibc-install")"
time make -j8  # build with 8 threads (jobs); on a fast laptop this takes ~3 min.
time make install # (optional: install to the `glibc-install` dir you created)

# Build the benchtests (everything inside the `glibc/benchtests` dir) too;
# see the makefile 'glibc/benchtests/Makefile' for more build commands. 
time make bench-build -j8
# Now you have this executable file you can use for malloc speed tests, for instance!: 
#       ../glibc-build/benchtests/bench-malloc-thread

# To build **and run** all glibc benchtests, do:
time make bench

参考:

  1. https://www.gnu.org/software/libc/manual/html_node/Configuring-and-compiling.html
  2. https://kazoo.ga/a-simple-tool-to-test-malloc-performance/
  3. https://github.com/f18m/malloc-benchmarks/blob/master/Makefile#L122-L129 :通过研究这个 makefile 目标,我学到了很多东西:
    $(glibc_install_dir)/lib/libc.so.6:
    @echo "Building GNU libc... go get a cup of coffee... this will take time!"
    mkdir -p $(glibc_build_dir)
    cd $(glibc_build_dir) && \
        ../glibc/configure --prefix=$(glibc_install_dir) && \
        make $(parallel_flags) && \
        make install
    [ -x $(glibc_build_dir)/benchtests/bench-malloc-thread ] && echo "GNU libc benchmarking utility is ready!" || echo "Cannot find GNU libc benchmarking utility! Cannot collect benchmark results"
    
  4. How to compile my own glibc C standard library from source and use it?

关键字:如何构建和运行 glibc 及其基准测试,包括。 malloc 基准测试,来自源代码;在 linux ubuntu 上从源代码构建 glibc