任何人都可以详细解释以下文件系统计数器的含义吗?
答案 0 :(得分:2)
FILE_BYTES_READ 是本地文件系统读取的字节数。假设所有地图输入数据都来自HDFS,那么在地图阶段,FILE_BYTES_READ应为零。另一方面,reducers的输入文件是从映射端磁盘获取的reduce端本地磁盘上的数据。因此,FILE_BYTES_READ表示reducers读取的总字节数。
FILE_BYTES_WRITTEN 由两部分组成。第一部分来自地图制作者。所有映射器都会将中间输出溢出到磁盘。映射器写入磁盘的所有字节都将包含在FILE_BYTES_WRITTEN中。第二部分来自减速器。在随机播放阶段,所有Reducer将从映射器获取中间数据并合并并溢出到reducer端磁盘。 Reducer写入磁盘的所有字节也将包含在FILE_BYTES_WRITTEN中。
HDFS_BYTES_READ 表示作业启动时映射器从HDFS读取的字节数。此数据不仅包括源文件的内容,还包括有关拆分的元数据。
HDFS_BYTES_WRITTEN 表示写入HDFS的字节数。它是最终输出的字节数。
读取操作 - 读取操作的数量,例如listStatus,getFileBlockLocations,open等。
写入操作 - 写入操作的数量,例如create,append,setPermission等。