【試驗目的】
本試驗目的是為了總結hadoop相關參數優化對性能的影響。

【試驗環境】
硬件環境
本次試驗用機4臺，配置一致：
CPU： Intel(R) Xeon(R) CPU? E5620? @ 2.40GHz * 16
內存： MemTotal:?????? 32867608 kB 64bit
linux版本 CentOS release 6.2 (Final)
內核版本 2.6.32-220.el6.x86_64
硬盤 Model: IBM ServeRAID M5015 (scsi)
Disk /dev/sda: 2997GB
Sector size (logical/physical): 512B/512B

軟件環境：
JDK： jdk1.6.0_45
Hadoop： hadoop-1.2.1

【試驗數據和程序】
試驗所用程序為WordCount計數程序（統計每個字母出現的次數），數據源是“ABCDEABC…”的循環

【試驗結果統計和總結】
總結相同的配置，此次試驗hadoop中備份數均為1份


導入hdfs的數據分析

可以看出在數據導入環節，系能基本呈現線性。


參數優化結果（所使用數據均為10G）



遺留的問題和今后研究的方向
1.本次試驗由于機器有限，所以在大量加入機器后性能提升是否線性有待驗證。
2.本次試驗的數據混亂度不高，有待加入真實數據進行驗證
3.本次試驗實在hadoop1.0的環境中做的，有待在2.0中試驗。


試驗結果總結
對hadoop性能優化性能提高的因素排列如下（按照優化幅度從高到低）：
1.加入combiner
2.增大map和reduce的槽數
3.加大dateNode上jvm參數
4.加機器
5.改變堆的大小
6.IntWriteAble改成VIntWriteAble
7.SecondeNameNode與NameNode分離
8.關閉noatime




作者簡介
昵稱:澳洲鳥，貓頭哥
姓名:樸海林
QQ:85977328
MSN:6301655@163.com
本文的研究，離不開《至高天》朋友們的支持
貓頭哥：http://phl.iteye.com/
根根：http://blog.csdn.net/suileisl
芝麻的奮斗：http://sesame84.iteye.com/
wan560：http://blog.csdn.net/wan560/
terrily：http://terrily.iteye.com/

hadoop經典系列(十一)性能分析實驗初步