在tensorflow中将csv行导入为数组

时间:2018-04-11 16:35:46

标签: python csv tensorflow data-import

我有一个包含大量N列的csv文件:第一列包含标签,另一列N-1是数据的数字表示(音乐录制的色度功能)。< / p>

我的想法是将输入数据表示为数组。在实践中,我想要计算机视觉中数据的标准表示。由于我的数据存储在csv中,在输入训练函数的定义中,我需要一个csv解析器。我是这样做的

def parse_csv(line):
    columns = tf.decode_csv(line, record_defaults=DEFAULTS)  # take a line at a time
    features = {'songID': columns[0], 'x': columns[1:]}  # create a dictionary out of the features
    labels = features.pop('songID')  # define the label
    return features, labels


def train_input_fn(data_file=fp, batch_size=128):
    """Generate an input function for the Estimator."""

    # Extract lines from input files using the Dataset API.
    dataset = tf.data.TextLineDataset(data_file)
    dataset = dataset.map(parse_csv)
    dataset = dataset.shuffle(1_000_000).repeat().batch(batch_size)
    return dataset.make_one_shot_iterator().get_next()

但是,这会返回一个不太有意义的错误:AttributeError: 'list' object has no attribute 'get_shape'。我知道罪魁祸首是功能字典中x的定义,但我不知道如何纠正它,因为从根本上说,我还没有真正理解张量流的数据结构。

2 个答案:

答案 0 :(得分:2)

事实证明,功能需要是张量。但是,每列都是一个张量,并且columns[1:]会得到一个张量列表。要创建存储N-1列信息的高维张量,应使用tf.stack

features = {'songID': columns[0], 'x': tf.stack(columns[1:])}  # create a dictionary out of the features

答案 1 :(得分:0)

tf.stack应该解决。

以下主题中提供了完整的代码示例。

Tensorflow Python reading 2 files