Spark不会将任务分配给端点列表中的任务

时间:2018-09-20 15:13:16

标签: apache-spark cassandra

我正在使用Spark连接到Cassandra。 输入拆分为:

Input split: ColumnFamilySplit((3030, '3031] @[cherry02, cherry00]) Input split: ColumnFamilySplit((3031, '3032] @[cherry00, cherry01]) Input split: ColumnFamilySplit((3032, '] @[cherry01, cherry02]) Input split: ColumnFamilySplit((, '3030] @[cherry01, cherry02])

“ [”和“]”之间的字符串是端点的主机名。它们符合Cassandra节点环。

但是,我发现所有这些输入拆分均已提交给cherry02。但显然,第二个拆分应该是峰顶,以cherry00或cherry01为准。

那怎么可能? 感谢您的帮助。

顺便说一句,我正在使用Spark spark-2.0.0-bin-hadoop2.7和Cassandra 2.1.9

0 个答案:

没有答案