标签: python pyspark spark-streaming
我有几台本地回送开发服务器,我正在Centos上使用它们来实践各种技术(Flask,ElasticSearch,Apache Airflow等)。我也在学习Pyspark,能够读取RDD和Dataframe中的数据并与之一起使用。
但是,我最终需要学习如何使用流式RDD /微型批次(最有可能使用Kafka或Flume作为源)和Pyspark。我想以某种方式在127.0.0.1:xxxxx上执行此操作。
是否可以在单个计算机上设置用于本地测试的Spark Streaming应用程序?