Question

我有一个char数组，一个巨大的数组char [n]从txt读取。

//1.txt
194.919 -241.808 234.896
195.569 -246.179 234.482
194.919 -241.808 234.896
...

foo（char * p，float x，float y，float z） {

}

我尝试使用atof，strtod，但是当数组太大时它们是实时消耗的，因为它们会调用strlen（）。并且sscanf也很慢......

我调试到代码中，发现atof（）和strtod都调用 visual studio 中的strlen（），我们可以查看crt代码。

strtod() call:
        answer = _fltin2( &answerstruct, ptr, (int)strlen(ptr), 0, 0, _loc_update.GetLocaleT());


atof() call:
        return( *(double *)&(_fltin2( &fltstruct, nptr, (int)strlen(nptr), 0, 0, _loc_update.GetLocaleT())->dval) );

我也尝试使用strtok，但我们不应该更改1.txt中的任何数据。

所以任何人都有最好的方法将所有这些转换为浮动x，y，z。

Visual Studio 2008 + WIN7

Answer 1

查看此代码。

如果不需要支持科学表示，'+'符号或前导标签，可以进一步优化。

它不使用strlen或任何其他标准库字符串例程。

// convert floating-point value in string represention to it's numerical value
// return false if NaN
// F is float/double
// T is char or wchar_t
// '1234.567' -> 1234.567
template <class F, class T> inline bool StrToDouble(const T* pczSrc, F& f)
{
    f= 0;

    if (!pczSrc)
        return false;

    while ((32 == *pczSrc) || (9 == *pczSrc))
        pczSrc++;

    bool bNegative= (_T('-') == *pczSrc);

    if ( (_T('-') == *pczSrc) || (_T('+') == *pczSrc) )
        pczSrc++;

    if ( (*pczSrc < _T('0')) || (*pczSrc > _T('9')) )
        return false;

    // todo: return false if number of digits is too large

    while ( (*pczSrc >= _T('0')) && (*pczSrc<=_T('9')) )
    {
        f= f*10. + (*pczSrc-_T('0'));
        pczSrc++;
    }

    if (_T('.') == *pczSrc)
    {
        pczSrc++;

        double e= 0.;
        double g= 1.;

        while ( (*pczSrc >= _T('0')) && (*pczSrc<=_T('9')) )
        {
            e= e*10. + (*pczSrc-_T('0'));
            g= g*10.                    ;
            pczSrc++;
        }

        f+= e/g;
    }

    if ( (_T('e') == *pczSrc) || (_T('E') == *pczSrc) ) // exponent, such in 7.32e-2
    {
        pczSrc++;

        bool bNegativeExp= (_T('-') == *pczSrc);

        if ( (_T('-') == *pczSrc) || (_T('+') == *pczSrc) )
            pczSrc++;

        int nExp= 0;
        while ( (*pczSrc >= _T('0')) && (*pczSrc <= _T('9')) )
        {
            nExp= nExp*10 + (*pczSrc-_T('0'));
            pczSrc++;
        }

        if (bNegativeExp)
            nExp= -nExp;

        // todo: return false if exponent / number of digits of exponent is too large

        f*= pow(10., nExp);
    }

    if (bNegative)
        f= -f;

    return true;
}

Answer 2

如果您可以对浮点值的格式做出其他假设，那么自己解析它们可能会提高性能。

解析' '或'\n'的示例代码 - 没有指数且没有输入验证的分隔值：

float parsef(const char **str)
{
    const char *cc = *str;

    _Bool neg = (*cc == '-');
    if(neg) ++cc;

    float value = 0, e = 1;

    for(; *cc != '.'; ++cc)
    {
        if(*cc == ' ' || *cc == '\n' || !*cc)
        {
            *str = cc;
            return neg ? -value : value;
        }

        value *= 10;
        value += *cc - '0';
    }

    for(++cc;; ++cc)
    {
        if(*cc == ' ' || *cc == '\n' || !*cc)
        {
            *str = cc;
            return neg ? -value : value;
        }

        e /= 10;
        value += (*cc - '0') * e;
    }
}

示例代码：

const char *str = "42 -15.4\n23.001";
do printf("%f\n", parsef(&str));
while(*str++);

Answer 3

好的，如何自己进行标记化，然后调用strtod。

我在想的是这样的：

char *current = ...;  // initialited to the head of your character array
while (*current != '\0')
{
    char buffer[64];
    unsigned int idx = 0;

    // copy over current number
    while (*current != '\0' && !isspace(*current))
    {
        buffer[idx++] = *current++;
    }
    buffer[idx] = '\0';

    // move forward to next number
    while (*current != '\0' && isspace(*current))
    {
        current++;
    }

    // use strtod to convert buffer   
}

这方面的一些问题是标记化非常简单。它适用于您发布的格式，但如果格式不同（另一行使用：分隔数字），它将无效。

另一个问题是代码假定所有数字都具有＆lt; 64个字符。如果它们更长，则会出现缓冲区溢出。

此外，复制到临时缓冲区会增加一些开销（但希望少于在整个缓冲区上不断执行strlen的开销）。我知道你说你不能改变原来的缓冲区，但是你可以做一个临时的改变（即缓冲区可以改变，只要你在返回之前将它恢复到它的原始状态）：

char *current = ...;  // initialited to the head of your character array
while (*current != '\0')
{
    char *next_sep = current;
    while (*next_sep != '\0' && !isspace(*next_sep))
    {
        next_sep++;
    }

    // save the separator before overwriting it
    char tmp = *next_sep;
    *next_sep = '\0';

    // use strtod on current

   // Restore the separator.
   *next_sep = tmp;

    current = next_sep;

    // move forward to next number
    while (*current != '\0' && isspace(*current))
    {
        current++;
    }
}

这种技术意味着无需复制，也无需担心缓冲区溢出。您需要临时修改缓冲区;希望那是

Answer 4

只要您没有使用特别糟糕的标准库（这些时候不可能，它们都很好），就不可能比atof更快地完成它。

Answer 5

使用strtod。它几乎肯定不会调用strlen。为什么需要知道输入的长度？它只运行超过前导空格，然后消耗尽可能多的对浮点文字有意义的字符，然后返回一个指针。您可以看到一个示例implementation也许您使用的是非最佳的？以下是如何使用strtod的示例：

#include <stdio.h>
#include <stdlib.h>
int main() {
    char *p = "1.txt 194.919 -241.808 234.896 195.569 -246.179 234.482 194.919 -241.808 234.896";
    char *end = p;
    char *q;
    double d;
    while(*end++ != ' '); // move past "1.txt"
    do {
        q = end; 
        d = strtod(q, &end);
        printf("%g\n", d);
    } while(*end != '\0');
}

输出：

在我的机器上。

Answer 6

我认为strod()应该调用strlen()的原因没有任何理由。当然它可能，但其规范中没有任何内容需要它，如果它确实如此我会感到惊讶。而且我会说strtod()与你会得到的速度一样快，而不是自己写一些特定于FPU处理器的东西。

Answer 7

为什么你认为atof，strtod使用strlen？我从来没有实现它们，但我无法想象他们为什么需要知道输入字符串的长度。这对他们没有任何价值。根据Jason的回答，我会使用strtod。这就是它的用途。

是的，如果你有大量的文字，转换需要一些时间。这就是它的方式。

Answer 8

正如其他人所说，我认为你不会比标准的图书馆电话做得更好。它们已经存在了很长时间并且经过了高度优化（好吧，它们应该是，至少在良好的实现中）。

那就是说，有些事情对我来说并不清楚。您是将整个文件读入内存然后将数组转换为另一个数组？如果是这样，您可能需要检查您运行的系统是否有足够的内存来进行交换。如果您这样做，当您从磁盘读取它们而不是存储它们时，是否可以一次只转换一行？

您可以考虑多线程化您的程序。一个线程用于读取和缓冲磁盘上的线路，以及n个线程来处理线路。 Dobb博士的期刊发表了你可以使用的a great single-reader/single-writer lockless queue implementation。我在类似的应用程序中使用过它。我的工作线程每个都有一个输入队列，然后读取器线程从磁盘读取数据并以循环方式将它们放入这些队列。

Answer 9

如下：

#include <stdio.h>
#include <string.h>
#include <stdlib.h>

static float frac[] =
{
    0.000,
    0.001,
    0.002,
    ...               // fill in
    0.997,
    0.998,
    0.999,
};

static float exp[] =
{
    1e-38,
    1e-37,
    1e-36,
    ...               // fill in
    1e+36,
    1e+37,
    1e+38,
};

float cvt(char* p)
{
    char* d = strchr(p, '.');   // Find the decimal point.
    char* e = strchr(p, 'e');   // Find the exponent.
    if (e == NULL)
        e = strchr(p, 'E');

    float num = atoi(p);
    if (num > 0) {
        num += frac[atoi(d + 1)];
    } else {
        num -= frac[atoi(d + 1)];
    }
    if (e)
        num *= exp[atoi(e)];
    return num;
}

int main()
{
    char line[100];
    while(gets(line)) {
        printf("in %s, out %g\n", line, cvt(line));
    }
}

应该是三位有效数字。

<小时/> 编辑：留意大螳螂。

再次编辑：和负指数。： - （

Answer 10

我怀疑strlen是否花费了你很多。

如果你可以利用你的数字在相对有限的范围内，那么我建议你自己解析它，尽可能少地计算，例如：

#define DIGIT(c) ((c)>='0' && (c)<='9')

BOOL parseNum(char* *p0, float *f){
  char* p = *p0;
  int n = 0, frac = 1;
  BOOL bNeg = FALSE;
  while(*p == ' ') p++;
  if (*p == '-'){p++; bNeg = TRUE;}
  if (!(DIGIT(*p) || *p=='.')) return FALSE;
  while(DIGIT(*p)){
    n = n * 10 + (*p++ - '0');
  }
  if (*p == '.'){
    p++;
    while(DIGIT(*p)){
      n = n * 10 + (*p++ - '0');
      frac *= 10;
    }
  }
  *f = (float)n/(float)frac;
  if (bNeg) *f = -*f;
  *p0 = p;
  return TRUE;
}

任何人都知道如何将巨大的char数组转换为float，非常庞大的数组，性能优于atof / strtod / sscanf

10 个答案: