Tensorflow的Flink式屏障

时间:2017-06-16 09:11:33

标签: tensorflow

Tensorflow是否等效Flink barrier

似乎没有办法从任何给定的内核与执行程序进行交互,除非通过抛出异常,以及与" pure"的任何偏差。不允许执行数据流,例如

  • 为给定输入生成无输出
  • 为给定输入生成多个输出(例如,将句子分成单词)。我通过让这样的内核获取队列引用并自行排队来解决这个问题,但这感觉就像是模块化违规。
  • 接收某种"控制元组/ Tensor"以便多个内核可以在某一点同步(例如,实现屏障)。换句话说,每个内核的唯一可调度代码是普通Compute()Input张量上的Output

有没有办法让Tensorflow能够更像流媒体框架?使用Tensorflow作为流式框架是否意外/不当使用它?

2 个答案:

答案 0 :(得分:2)

虽然TensorFlow内核在流式框架中的行为不像正确的单位,正如您所指出的那样,每组输入调用一次,并且每次输出时都会生成一组输出被称为,有其他选择。

tf.contrib.data框架建立在Dataset的概念之上,var encrypted = CryptoJS.DES.encrypt( bytes2, bytes1, { mode: CryptoJS.mode.CBC, iv: keys, padding: CryptoJS.pad.Pkcs7 }); 是一个具有您在上面指定的所有属性的单元(可能不是控制元组,但它是&#39}容易添加)。

答案 1 :(得分:0)

你有没有考虑过使用tge最近发布的Flink ML“集成”与Tensorflow?

https://github.com/FlinkML/flink-tensorflow