是否可以通过本地环回测试pyspark流?

时间:2018-08-29 14:57:50

标签: python pyspark spark-streaming

我有几台本地回送开发服务器,我正在Centos上使用它们来实践各种技术(Flask,ElasticSearch,Apache Airflow等)。我也在学习Pyspark,能够读取RDD和Dataframe中的数据并与之一起使用。

但是,我最终需要学习如何使用流式RDD /微型批次(最有可能使用Kafka或Flume作为源)和Pyspark。我想以某种方式在127.0.0.1:xxxxx上执行此操作。

是否可以在单个计算机上设置用于本地测试的Spark Streaming应用程序?

0 个答案:

没有答案