如何使用Spring XD将使用文件(源模块)的文件流式传输到hdfs-dataset(接收器)到hdfs位置

时间:2018-12-14 04:31:55

标签: hadoop hdfs spring-xd

我正在使用下面的流从本地提取文件,并将其以avro格式放置在hdfs位置。根据SringXD文档,我将按照所有步骤进行操作,并使用类似文档中的命令。

但是我面临的问题是avro数据文件或avro schema(avsc)文件不正确。当我打开avsc文件时,我仅在其中看到“字符串”。我不知道为什么。...

有人可以检查一下并帮助我解决这里的问题吗,或者请按照我的要求为我提供正确的方法。

stream create --name mydataset --definition“ file --dir = / tmp / SpringXD --outputType = text / plain | hdfs-dataset --format = avro --fsUri =” --deploy

0 个答案:

没有答案