急切执行
我已经研究了2天的API，但似乎找不到从CsvDataset对象中使用数据的方法。
我从数据集中得到以下示例：
70,1,4,130,322,0,2,109,0,24,2,3,3,2
67,0,3,115,564,0,2,160,0,16,2,0,7,1
57,1,2,124,261,0,0,141,0,3,1,0,7,2
64,1,4,128,263,0,0,105,1,2,2,1,7,1
74,0,2,120,269,0,2,121,1,2,1,1,3,1
65,1,4,120,177,0,0,140,0,4,1,0,7,1
56,1,3,130,256,1,2,142,1,6,2,1,6,2
59,1,4,110,239,0,2,142,1,12,2,1,7,2
60,1,4,140,293,0,2,170,0,12,2,2,7,2
63,0,4,150,407,0,2,154,0,4,2,3,7,2
我阅读了高级API视频中所说的csv：
tf.enable_eager_execution()
defaults = [tf.float64] * 14
dataset=tf.data.experimental.CsvDataset(path, defaults)
>>> dataset
>>> <CsvDataset shapes: ((), (), (), (), (), (), (), (), (), (), (), (), (), ()), types: (tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64, tf.float64)>
但是从现在开始，我无法访问任何数据，例如获取列的值。
使用list(dataset)将数据集转换为列表是不可行的，因为使用普通大小的csv（约19万个样本）会花费很长时间。
那么，有什么方法可以从该对象获取列或行的值吗？还是使用TF代替scikit / pandas读取数据真的没有意义吗？
修改1：
如@kvish所述，尝试执行col1 = dataset.map(lambda *row: row[0])，这将返回一个可迭代的<MapDataset shapes: (), types: tf.float64>。问题在于，必须遍历每一列然后遍历每个MapDataset会使复杂度O(n^2)。
想法输出将是张量列表，每个张量包含一列中的所有值，类似于：
[<tf.Tensor(shape=(10,), dtype=float64,
numpy=array([70.0,67.0,57.0,64.0,74.0,65.0,56.0,59.0,60.0,63.0]))>,
(...) x14]
答案 0 :(得分：0)
好的，因此在@kvish的帮助下，我能够找到触及率的解决方案。在此解决方案中，需要事先知道行数和列数。
col_list = []
append = col_list.append
to_tensor = tf.convert_to_tensor
for i in range(0,cols):
col = dataset.map(lambda *row: row[i])
col = to_tensor(*col.batch(rows))
append(col)
这将输出所需的内容：
>>> col_list
[<tf.Tensor: id=256, shape=(10,), dtype=float64, numpy=array([70., 67., 57., 64.,
74., 65., 56., 59., 60., 63.])>, <tf.Tensor: id=282, shape=(10,), dtype=float64,
numpy=array([1., 0., 1., 1., 0., 1., 1., 1., 1., 0.])>, <tf.Tensor: id=308, shape=
(10,), dtype=float64, numpy=array([4., 3., 2., 4., 2., 4., 3., 4., 4., 4.])>,
<tf.Tensor: id=334, shape=(10,), dtype=float64, numpy=array([130., 115., 124., 128.,
120., 120., 130., 110., 140., 150.])>, <tf.Tensor: id=360, shape=(10,),
dtype=float64, numpy=array([322., 564., 261., 263., 269., 177., 256., 239., 293.,
407.])>, <tf.Tensor: id=386, shape=(10,), dtype=float64, numpy=array([0., 0., 0., 0.,
0., 0., 1., 0., 0., 0.])>, <tf.Tensor: id=412, shape=(10,), dtype=float64,
numpy=array([2., 2., 0., 0., 2., 0., 2., 2., 2., 2.])>, <tf.Tensor: id=438, shape=
(10,), dtype=float64, numpy=array([109., 160., 141., 105., 121., 140., 142., 142.,
170., 154.])>, <tf.Tensor: id=464, shape=(10,), dtype=float64, numpy=array([0., 0.,
0., 1., 1., 0., 1., 1., 0., 0.])>, <tf.Tensor: id=490, shape=(10,), dtype=float64,
numpy=array([24., 16., 3., 2., 2., 4., 6., 12., 12., 4.])>, <tf.Tensor: id=516,
shape=(10,), dtype=float64, numpy=array([2., 2., 1., 2., 1., 1., 2., 2., 2., 2.])>,
<tf.Tensor: id=542, shape=(10,), dtype=float64, numpy=array([3., 0., 0., 1., 1., 0.,
1., 1., 2., 3.])>, <tf.Tensor: id=568, shape=(10,), dtype=float64, numpy=array([3.,
7., 7., 7., 3., 7., 6., 7., 7., 7.])>, <tf.Tensor: id=594, shape=(10,),
dtype=float64, numpy=array([2., 1., 2., 1., 1., 1., 2., 2., 2., 2.])>]