除了在存储级别为“ MEMORY_AND_DISK_2”的Amazon Kinesis中使用火花流之外，我得到了一些过渡。我们将Spark 2.2.0与emr-5.9.0结合使用。
19/05/22 01:56:16 ERROR TransportRequestHandler: Error opening block StreamChunkId{streamId=438690479801, chunkIndex=0} for request from /10.1.100.56:38074
org.apache.spark.storage.BlockNotFoundException: Block broadcast_13287_piece0 not found
我检查了EMR群集中没有丢失的节点。 HDFS利用率为35％