Spark处理Kinesis流中的消息时是否维持顺序

时间:2019-05-23 22:15:15

标签: apache-spark amazon-emr amazon-kinesis

如果我们在EMR上处理来自Spark的Kinesis流消息,则spark是否会保持顺序(以碎片为单位)。

例如,假设我们正在处理来自自定义映射函数的消息,该函数使用API​​调用将记录插入数据库。是否将这些消息按顺序(按分片)插入数据库中? 另外,并行性是否仅限于分片数量,或者Spark能否在分片内部进一步并行化?

谢谢

0 个答案:

没有答案