dask-yarn KilledWorker没有有意义的回溯

Question

我使用dask-yarn和dask's website中提供的脚本在EMR上部署了dask。
我在s3中为avro文件尝试了一个简单的read和take，但是我遇到了KillerWorker异常，但对于错误原因没有明确的含义。

from dask_yarn import YarnCluster
cluster = YarnCluster(environment='environment.tar.gz',
                      worker_vcores=2,
                      worker_memory='4GB',
                      n_workers=4)
from dask.distributed import Client
from dask import bag as db
client = Client(cluster)
av = db.read_avro('s3://path/to/fil.avro')
av.take(1)

例外：

KilledWorker: ("('bag-from-delayed-read-avro-take-57f2529def40184e19b004eb8d459535', 0)", <Worker 'tcp://172.31.125.168:38215', memory: 0, processing: 1>)

Answer 1

KilledWorker错误出现在您的工作人员意外地反复死亡时。我鼓励您使用yarn API来检查工作人员的日志。通常，这是由错误配置的软件环境引起的，但是可能有很多原因。希望这些日志可以帮助您指出富有成效的方向。