使用tensorflow的数据集管道，我如何*命名* map`操作的结果？

Question

我有以下地图功能（可运行示例），输入string并输出string和integer。

tf.data.Dataset.from_tensor_slices中的

我将原始输入'filenames'命名为。但是当我从map函数map_element_counts返回值时，我只能返回一个元组（返回一个字典会产生异常）。

有没有办法命名从map_element_counts函数返回的2个元素？

import tensorflow as tf

filelist = ['fileA_6', 'fileB_10', 'fileC_7']

def map_element_counts(fname):
  # perform operations outside of tensorflow
  return 'test', 10

ds = tf.data.Dataset.from_tensor_slices({'filenames': filelist})
ds = ds.map(map_func=lambda x: tf.py_func(
  func=map_element_counts, inp=[x['filenames']], Tout=[tf.string, tf.int64]
))
element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
  print(sess.run(element))

结果：

(b'test', 10)

期望的结果：

{'elementA': b'test', 'elementB': 10)

添加详细信息：

当我return {'elementA': 'test', 'elementB': 10}时，我得到了这个例外：

tensorflow.python.framework.errors_impl.UnimplementedError: Unsupported object type dict

Answer 1

为了后人的缘故，我正在为这个问题提出最终解决方案。下面的代码是一个复制/粘贴示例，在此问题解决的最复杂条件下工作（请注意，其他两个答案不是复制/可处理的代码示例）：

代码的目标是：

• 获取（大）文件列表并将其拆分为块（文件名/索引对）
• 使用地图操作处理每个块（生成器在这里不是可行的解决方案，请参阅：https://github.com/tensorflow/tensorflow/issues/16343）
• 从只需1个文件/块作为输入的映射操作输出多个样本。
• 在整个过程中维护元素命名

Tensorflow 1.5 / Python 3.x的复制/可处理工作样本

import tensorflow as tf
import numpy as np

files = [b'testA', b'testB', b'testC']

def mymap1(x):
  result_tensors = tf.py_func(func=mymap2, inp=[x], Tout=[tf.string, tf.int64])
  return {'filename': result_tensors[0], 'value': result_tensors[1]}

def mymap2(x):
  return np.array([x, x, x]), np.array([10, 20, 30])

def myflatmap(named_elements):
  return tf.data.Dataset.zip({
    'filename': tf.data.Dataset.from_tensor_slices(named_elements['filename']),
    'value': tf.data.Dataset.from_tensor_slices(named_elements['value'])
  })

ds = tf.data.Dataset.from_tensor_slices(files)
ds = ds.map(map_func=mymap1)
ds = ds.flat_map(map_func=myflatmap)

element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
  for _ in range(9):
    print(sess.run(element))

输出：

{'filename': b'testA', 'value': 10}
{'filename': b'testA', 'value': 20}
{'filename': b'testA', 'value': 30}
{'filename': b'testB', 'value': 10}
{'filename': b'testB', 'value': 20}
{'filename': b'testB', 'value': 30}
{'filename': b'testC', 'value': 10}
{'filename': b'testC', 'value': 20}
{'filename': b'testC', 'value': 30}

Answer 2

在这种情况下不需要tf.py_func，因为Dataset#map的map_func适用于字典和其他结构：

  

map_func：将张量的嵌套结构（由self.output_shapes和self.output_types定义的形状和类型）映射到另一个嵌套的张量结构的函数。

以下是一个例子：

import tensorflow as tf

filelist = ['fileA_6', 'fileB_10', 'fileC_7']

def map_element_counts(fnames):
  return {'elementA': b'test', 'elementB': 10, 'file': fnames['filenames']}

ds = tf.data.Dataset.from_tensor_slices({'filenames': filelist})
ds = ds.map(map_func=map_element_counts)
element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
  print(sess.run(element))
  print(sess.run(element))
  print(sess.run(element))

输出：

{'elementA': 'test', 'elementB': 10, 'file': 'fileA_6'}
{'elementA': 'test', 'elementB': 10, 'file': 'fileB_10'}
{'elementA': 'test', 'elementB': 10, 'file': 'fileC_7'}

Answer 3

在tf.py_func内部应用ds.map。

我创建了一个非常简单的文件作为示例。我只在里面写10个。

dummy_file.txt：

10

这里是脚本：

import tensorflow as tf

filelist = ['dummy_file.txt', 'dummy_file.txt', 'dummy_file.txt']


def py_func(input):
    # perform operations outside of tensorflow
    parsed_txt_file = int(input)
    return 'test', parsed_txt_file


def map_element_counts(fname):
    # let tensorflow read the text file
    file_string = tf.read_file(fname['filenames'])
    # then use python function on the extracted string
    a, b = tf.py_func(
                    func=py_func, inp=[file_string], Tout=[tf.string, tf.int64]
                    )
    return {'elementA': a, 'elementB': b, 'file': fname['filenames']}

ds = tf.data.Dataset.from_tensor_slices({'filenames': filelist})
ds = ds.map(map_element_counts)
element = ds.make_one_shot_iterator().get_next()

with tf.Session() as sess:
    print(sess.run(element))
    print(sess.run(element))
    print(sess.run(element))

输出：

{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}
{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}
{'file': b'dummy_file.txt', 'elementA': b'test', 'elementB': 10}