在编译时拆分字符串会在不同的编译器上产生不同的结果

时间:2019-02-06 21:51:55

标签: c++ gcc visual-c++ clang c++17

我正在尝试在编译时拆分字符串。我定义了

之类的函数split
#include <array>
#include <string_view>

template <std::size_t N>
constexpr std::array<std::string_view, N> split(std::string_view str)
{
    std::array<std::string_view, N> arr{};
    std::size_t start = 0, end = 0;

    for (std::size_t i = 0; i < N && end != std::string_view::npos; i++)
    {
        end = str.find_first_of(',', start);    
        arr[i] = str.substr(start, end - start);
        start = end + 1;
    }

    return arr;
}

给出如下用法:

constexpr std::string_view str = "one,two,three,four,five";
constexpr std::array<std::string_view, 5> arr = split<5>(str);

msvc和gcc都可以编译。但是clang已经拒绝了这段代码,说std::string_view::find_first_of不会导致一个常量表达式(这是编译器错误吗?)。

当我测试如下结果时:

int main() 
{
    std::cout << str << "\n\n";

    for (auto i = 0; i < arr.size(); i++)
        std::cout << arr[i] << "\n";

    return 0;
}

msvc打印

one,two,three,four,five

one
two
thr
e,f
ur,

而gcc给了我预期的结果

one,two,three,four,five                                                                                                                                                           

one
two
three
four
five

我添加了第二个拆分函数,该函数与原始拆分函数相同,只是它打印出拆分函数内部的中间子字符串。在这种情况下,msvc和gcc都打印相同,这是上面的预期结果。

为什么结果不同?我在某个地方调用了UB吗?

可以找到完整的代码here

编辑

这似乎是msvc中的错误。在运行时调用该函数会产生预期的结果:

int main() 
{
    std::cout << str << "\n\n";

    for (auto i = 0; i < arr.size(); i++)
        std::cout << arr[i] << "\n";

    auto arr2 = split<5>(str);    
    for (auto i = 0; i < arr2.size(); i++)
        std::cout << arr2[i] << "\n";

    return 0;
}

编辑2

看起来,当msvc运行常量表达式的解释器时,msvc中实际上存在一个错误。我添加了另一个函数来访问函数外部的变量:

constexpr decltype(split<5>(str)) arr = split<5>(str);
constexpr decltype(split_sizes<5>(str)) arr_sizes = split_sizes<5>(str);

template <std::size_t N>
constexpr std::array<std::array<std::size_t, 3>, N> split_sizes(std::string_view str)
{
    std::array<std::array<std::size_t, 3>, N> arr{};
    std::size_t start = 0, end = 0;

    for (std::size_t i = 0; i < N && end != std::string_view::npos; i++)
    {
        end = str.find_first_of(',', start);
        auto sub = str.substr(start, end - start);
        arr[i] = { sub.length(), start, end };
        start = end + 1;
    }

    return arr;
}

int main() 
{    
    for (auto i = 0; i < arr.size(); i++)
        std::cout << arr[i] << "\tlen=" << arr_sizes[i][0] << " start=" << arr_sizes[i][1] << " end=" << arr_sizes[i][2] << "\n";

    std::cout << "\n";
    auto arr2 = split<5>(str);
    auto arr_sizes2 = split_sizes<5>(str);

    for (auto i = 0; i < arr2.size(); i++)
        std::cout << arr2[i] << "\tlen=" << arr_sizes2[i][0] << " start=" << arr_sizes2[i][1] << " end=" << arr_sizes2[i][2] << "\n";

    return 0;
}

在msvc上给出以下结果:

one,two,three,four,five

one     len=3 start=0 end=3
two     len=3 start=4 end=7
thr     len=3 start=8 end=11
e,f     len=3 start=12 end=15
ur,     len=3 start=16 end=19

one     len=3 start=0 end=3
two     len=3 start=4 end=7
three   len=5 start=8 end=13
four    len=4 start=14 end=18
five    len=4 start=19 end=18446744073709551615

Here是指向更新的完整代码的链接。

1 个答案:

答案 0 :(得分:0)

这实际上是一个编译器错误。我不知道是什么真正引起了该错误,但它在std::string_view::find_first_of内部。奇怪的是,此错误仅在持续评估期间(在编译时)发生。据我所知,此函数的运行时行为符合预期。

这是split的有效实现:

template <std::size_t N>
constexpr std::array<std::string_view, N> split(std::string_view str)
{
    std::array<std::string_view, N> arr{};
    std::size_t start = 0, end = 0;

    for (std::size_t i = 0; i < N && end != std::string_view::npos; i++)
    {
        end = std::string_view::npos;
        for (std::size_t j = start; j < str.length(); j++)
        {
            if (str[j] == ',')
            {
                end = j;
                break;
            }
        }

        arr[i] = str.substr(start, end - start);        
        start = end + 1;
    }

    return arr;
}

编辑

结果证明,与gcc和clang相比,msvc在评估常量表达式方面非常不利。我发现许多其他场景(都围绕std::string_view)也无法编译。