MapReduce:默认Counter的含义
MapReduce Counter为提供我们一个窗口：观察MapReduce job运行期的各种细节数据。今年三月份期间，我曾经专注于MapReduce性能调优工作，是否优化的绝大多评估都是基于这些Counter的数值表现。MapReduce自带了许多默认Counter，可能有些朋友对它们有些疑问，现在我分析下这些默认Counter的含义，方便大家观察job结果。
我的分析是基于Hadoop0.21，我也看过Hadoop其它版本的Counter展现，细节大同小异，如果有差异的地方，以事实版本为主。
Counter有"组group"的概念，用于表示逻辑上相同范围的所有数值。MapReduce job提供的默认Counter分为五个组，下面逐一介绍。这里也拿我的一份测试数据来做详细比对，它们会以表格的形式出现在各组描述中。
FileInputFormatCounters
这个group表示map task读取文件内容(总输入数据)的统计
2 楼 xuxm2007 2012-06-13 不好意思 一不小心直接提交了
而且那三个显示的也没有你这个全面?是版本的问题,还是需要设置的问题 3 楼 langyu 2012-06-13 xuxm2007 写道不好意思 一不小心直接提交了
而且那三个显示的也没有你这个全面?是版本的问题,还是需要设置的问题
这是因为版本的问题。我所列出的这些都是0.21版本默认提供的项。 4 楼 xuxm2007 2012-06-14 langyu 写道xuxm2007 写道不好意思 一不小心直接提交了
而且那三个显示的也没有你这个全面?是版本的问题,还是需要设置的问题
这是因为版本的问题。我所列出的这些都是0.21版本默认提供的项。
ok 非常感谢
以后多向你请教 5 楼 xuxm2007 2012-06-14 楼主在杭州什么公司呢? 6 楼 xuxm2007 2012-06-14 其实我一开始找到你的博客
主要是想知道 Map output bytes和map端Local bytes written,以及reduce端的Local bytes read之间的关系?
7 楼 langyu 2012-06-14 xuxm2007 写道其实我一开始找到你的博客
主要是想知道 Map output bytes和map端Local bytes written,以及reduce端的Local bytes read之间的关系?
现在搞明白了么？
