标签： elasticsearch pyspark hdfs jupyter-notebook spark-streaming
有没有办法使用Spark Streaming从HDFS（例如JSON）读取文件，然后将其保存到elasticsearch？
我能够读取JSON文件，创建pyspark数据框，然后将其保存到elasticsearch中的索引中，但是是否可以使用Spark Streaming做到这一点？我希望每个保存到HDFS的文件也保存在elasticsearch中。
我正在使用Jupyter Notebook，ElasticSearch 6.3.0和带有Python的spark 2.3.0
预先感谢