Question

我正在运行以下python脚本：

#!/usr/bin/python

import os,sys
from scipy import stats
import numpy as np

f=open('data2.txt', 'r').readlines()
N=len(f)-1
for i in range(0,N):
    w=f[i].split()
    l1=w[1:8]
    l2=w[8:15]
    list1=[float(x) for x in l1]
    list2=[float(x) for x in l2]
    result=stats.ttest_ind(list1,list2)
    print result[1]

但是我得到的错误如下：

ValueError: could not convert string to float: id

我对此感到困惑。当我在交互式部分中仅尝试一行时，而不是使用脚本进行循环：

>>> from scipy import stats
>>> import numpy as np
>>> f=open('data2.txt','r').readlines()
>>> w=f[1].split()
>>> l1=w[1:8]
>>> l2=w[8:15]
>>> list1=[float(x) for x in l1]
>>> list1
[5.3209183842, 4.6422726719, 4.3788135547, 5.9299061614, 5.9331108706, 5.0287087832, 4.57...]

我运作良好。

任何人都可以解释一下吗？ THX

Answer 1

显然有些行没有有效的浮点数据，特别是某些行的文本id无法转换为浮点数。

当您在交互式提示中尝试时，您只尝试第一行，因此最好的方法是打印出现此错误的行，您将知道错误的行，例如

#!/usr/bin/python

import os,sys
from scipy import stats
import numpy as np

f=open('data2.txt', 'r').readlines()
N=len(f)-1
for i in range(0,N):
    w=f[i].split()
    l1=w[1:8]
    l2=w[8:15]
    try:
        list1=[float(x) for x in l1]
        list2=[float(x) for x in l2]
    except ValueError,e:
        print "error",e,"on line",i
    result=stats.ttest_ind(list1,list2)
    print result[1]

Answer 2

我的错误很简单：包含数据的文本文件在最后一行有一些空格（所以不可见）字符。

作为grep的输出，我有45 而不是45。

Answer 3

此错误非常详细：

ValueError: could not convert string to float: id

在您的文本文件中

某处，一行中包含单词id，无法将其真正转换为数字。

您的测试代码有效，因为id中没有单词line 2。

如果要捕获该行，请尝试使用此代码。我清理了你的代码：

#!/usr/bin/python

import os, sys
from scipy import stats
import numpy as np

for index, line in enumerate(open('data2.txt', 'r').readlines()):
    w = line.split(' ')
    l1 = w[1:8]
    l2 = w[8:15]

    try:
        list1 = map(float, l1)
        list2 = map(float, l2)
    except ValueError:
        print 'Line {i} is corrupt!'.format(i = index)'
        break

    result = stats.ttest_ind(list1, list2)
    print result[1]

Answer 4

您的数据可能不是您所期望的 - 您似乎期待，但没有得到，浮动。

找出这种情况的简单解决方案是在for循环中添加try / except：

for i in range(0,N):
    w=f[i].split()
    l1=w[1:8]
    l2=w[8:15]
    try:
      list1=[float(x) for x in l1]
      list2=[float(x) for x in l2]
    except ValueError, e:
      # report the error in some way that is helpful -- maybe print out i
    result=stats.ttest_ind(list1,list2)
    print result[1]

Answer 5

也许你的数字实际上不是数字，而是伪装成数字的字母？

就我而言，我使用的字体意味着“l”和“1”看起来非常相似。我有一个像'l1919'的字符串，我认为它是'11919'，这让事情变得混乱了。

Answer 6

对于一列带有逗号的数字的 Pandas 数据框，请使用：

df["Numbers"] = [float(str(i).replace(",", "")) for i in df["Numbers"]]

因此像 4,200.42 这样的值将被转换为 4200.42 作为浮点数。

奖励 1：这快。

奖励 2：如果以 Apache Parquet 之类的格式保存该数据帧，则空间效率更高。

Answer 7

最短路径：

df["id"] = df['id'].str.replace(',', '').astype(float) - 如果 ',' 是问题

df["id"] = df['id'].str.replace(' ', '').astype(float) - 如果空格是问题

Answer 8

检查原始csv文件中的数字，以查看数字上是否有双引号。

Answer 9

我用熊猫的基本技术解决了类似的情况。首先使用pandas加载csv或文本文件。这很简单

data=pd.read_excel('link to the file')

然后将数据索引设置为需要更改的相关列。例如，如果您的数据将ID作为一个属性或一列，则将索引设置为ID。

 data = data.set_index("ID")

然后使用以下命令删除所有以“ id”作为值而不是数字的行。

  data = data.drop("id", axis=0).

希望，这会对您有所帮助。

ValueError：无法将字符串转换为float：id

9 个答案: