我已经安装了支持GPU资源的Hadoop 3.1.1。然后根据official document配置它。但是,当我使用800M +文件运行字计数程序时,永远不会使用GPU查找资源。同时使用内存和vcores(CPU),该程序运行良好。
满足所有先决条件listed in official document:GPU设备,CUDA,cgoup等。当我运行docker但使用Hadoop 3时,GPU运行良好。
以下是配置文件:
资源类型:
capacity-scheduler.xml,其他属性为默认值
yarn-site.xml
container-executor.cfg