无法使用Spring云数据流将流数据写入接收器文件

Question

我正在尝试使用shell（Not UI）使用Spring云数据流创建数据流管道。来源是twitterstream并沉入文件。以下是我配置文件接收器的方法：

dataflow:>stream create demo --definition "twitterstream --credentials | file --dir=/opt/datastream --mode=APPEND --filename=tweets.txt"

我可以使用kafka主题的数据，但无法在上面的sink位置写入，甚至没有创建文件。部署流时没有错误日志。最终我将从本地文件系统将其更改为HDFS。有什么遗漏？

PS：我尝试了默认文件接收器（没有定义），它应该在/ tmp / xd / output中创建默认文件，也不会发生。

Answer 1

在最新的1.0.0.RELEASE（GA）版本中，以下流定义有效。

dataflow:>stream create demo --definition "twitterstream | file --directory=/someFolder --mode=APPEND --name=demo.txt"

有几点需要指出：

1）twitterstream来源不支持--credentials作为OOTB属性。见here。

2）file接收器不支持--filename作为OOTB属性;你必须使用--name代替。请参阅here。