Sqoop导出到mysql非常慢

Question

我正在尝试使用SQOOP将一些数据导出到mysql。虽然我指定了这个参数--num-mappers 12，但它只分配一个映射器来处理这个工作。而且，它非常慢。如何确保Sqoop作业获得更多地图而不是1.

Answer 1

映射器的数量是根据这些标准确定的

• HDFS中文件的大小
• 文件的格式以及是否支持splittable
• 如果文件已压缩，则可拆分且不可拆分

运行此命令var newMsg = { payload: msg.payload }; //return [msg, newMsg]; newMsg.user = msg.req.body["user"]; newMsg.req = msg.req; newMsg.res = msg.res; return newMsg; 以获取文件的大小。还要检查参数值min split size和max split size。