标签： apache-spark apache-spark-sql parquet spark-structured-streaming
我正在使用Spark结构化流技术来读取kafka主题中的事件并对其进行处理并写入镶木地板。我必须根据事件中获得的密钥将输出写入不同的文件夹。我尝试的结构化流示例始终指向特定的文件夹。是否需要为每个文件夹启动流？
<div>
答案 0 :(得分：0)
我能够通过创建每个表专用的多个writeStream来实现这一点
有关详细信息，请参阅structured streaming different schema in nested json