流数据生成器

时间:2014-09-08 20:33:57

标签: java scala sockets streaming apache-spark

我正在尝试实现一种流数据生成器,用作使用Apache Spark Streaming开发的流应用程序的源数据。

可以将数据发送到网络套接字。我有一些包含几个单词的合成文件。然后,我需要将这些文件的每个字发送到套接字并确定每个字为100字节输入寄存器。

首先,我做了一个这样的剧本:

COUNTER=1
while [ $COUNTER -lt 101 ]; do 
    echo $COUNTER
    cat file_$COUNTER | nc -l 2211
    let COUNTER=COUNTER+1   
done

但在这种情况下,我无法控制字节大小和其他因素。我想在Java / Scala中开发一些更有用的东西。

有人可以提出建议吗?

0 个答案:

没有答案