使用numpy库genfromtxt函数使用Python导入数据集(txt文件)的问题

时间:2017-03-04 13:53:14

标签: python numpy dataset genfromtxt

我正在尝试学习Python,但是我正在尝试导入数据集并且无法使其正常工作...

此数据集包含16列和16 320行作为txt文件保存。我使用genfromtxt函数如下:

import numpy as np  
dt=np.dtype([('name', np.str_, 16),('platform', np.str_, 16),('year', np.float_, (2,)),('genre', np.str_, 16),('publisher', np.str_, 16),('na_sales', np.float_, (2,)), ('eu_sales', np.float64, (2,)), ('jp_sales', np.float64, (2,)), ('other_sales', np.float64, (2,)), ('global_sales', np.float64, (2,)), ('critic_scores', np.float64, (2,)),('critic_count', np.float64, (2,)),('user_scores', np.float64, (2,)),('user_count', np.float64, (2,)),('developer', np.str_, 16),('rating', np.str_, 16)])  
data=np.genfromtxt('D:\\data3.txt',delimiter=',',names=True,dtype=dt)

我收到此错误:

ValueError: size of tuple must match number of fields.

但我的dt变量每列包含16种类型。 我指定数据类型,否则字符串将被替换为nan。

任何帮助都将不胜感激。

1 个答案:

答案 0 :(得分:1)

查看使用dt生成的数组:

In [78]: np.ones((1,),dt)
Out[78]: 
array([ ('1', '1', [ 1.,  1.], '1', '1', [ 1.,  1.], [ 1.,  1.], [ 1.,  1.], 
      [ 1.,  1.], [ 1.,  1.], [ 1.,  1.], [ 1.,  1.], [ 1.,  1.], 
      [ 1.,  1.], '1', '1')], 
      dtype=[('name', '<U16'), ('platform', '<U16'), ('year', '<f8', (2,)), ('genre', '<U16'), ('publisher', '<U16'), ('na_sales', '<f8', (2,)), ('eu_sales', '<f8', (2,)), ('jp_sales', '<f8', (2,)), ('other_sales', '<f8', (2,)), ('global_sales', '<f8', (2,)), ('critic_scores', '<f8', (2,)), ('critic_count', '<f8', (2,)), ('user_scores', '<f8', (2,)), ('user_count', '<f8', (2,)), ('developer', '<U16'), ('rating', '<U16')])

我计算26 1 s(字符串和浮点数),而不是你需要的16。你是否认为(2,)表示为双?它表示一个2元素子字段。

取出所有这些(2,)

In [80]: np.ones((1,),dt)
Out[80]: 
array([ ('1', '1',  1., '1', '1',  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1.,  1., '1', '1')], 
      dtype=[('name', '<U16'), ('platform', '<U16'), ('year', '<f8'), ('genre', '<U16'), ('publisher', '<U16'), ('na_sales', '<f8'), ('eu_sales', '<f8'), ('jp_sales', '<f8'), ('other_sales', '<f8'), ('global_sales', '<f8'), ('critic_scores', '<f8'), ('critic_count', '<f8'), ('user_scores', '<f8'), ('user_count', '<f8'), ('developer', '<U16'), ('rating', '<U16')])

现在我有16个字段应该恰好解析你的16列。

dtype=None常常也有效。它允许genfromtxt推导出每个字段的最佳dtype。在这种情况下,它将从列标题行(您的names=True参数)中获取字段名称。

在将复杂的代码行放入更大的脚本之前测试它们是个好主意。特别是如果你在学习的过程中。