因此,引入了一致性哈希算法:
把數據用hash函數(如MD5),映射到一個很大的空間里,如圖所示。數據的存儲時,先得到一個hash值,對應到這個環中的每個位置,如k1對應到了圖中所示的位置,然后沿順時針找到一個機器節點B,將k1存儲到B這個節點中。
如果B節點宕機了,則B上的數據就會落到C節點上,如下圖所示:
這樣,只會影響C節點,對其他的節點A,D的數據不會造成影響。然而,這又會造成一個“雪崩”的情況,即C節點由于承擔了B節點的數據,所以C節點的負載會變高,C節點很容易也宕機,這樣依次下去,這樣造成整個集群都掛了。
為此,引入了“虛擬節點”的概念:即把想象在這個環上有很多“虛擬節點”,數據的存儲是沿著環的順時針方向找一個虛擬節點,每個虛擬節點都會關聯到一個真實節點,如下圖所使用:

圖中的A1、A2、B1、B2、C1、C2、D1、D2都是虛擬節點,機器A負載存儲A1、A2的數據,機器B負載存儲B1、B2的數據,機器C負載存儲C1、C2的數據。由于這些虛擬節點數量很多,均勻分布,因此不會造成“雪崩”現象。
Java 實現:
- public class Shard<S>{ //S類封裝了機器節點的信息,如name、password、ip、port等
- private TreeMap<Long,S>nodes; //虛擬節點
- private List<S>shards; //真實機器節點
- private final int NODE_NUM= 100 ; //每個機器節點關聯的虛擬節點個數
- public Shard(List<S>shards){
- super ();
- this .shards=shards;
- init();
- }
- private void init(){ //初始化一致性hash環
- nodes= new TreeMap<Long,S>();
- for ( int i= 0 ;i!=shards.size();++i){ //每個真實機器節點都需要關聯虛擬節點
- final SshardInfo=shards.get(i);
- for ( int n= 0 ;n<NODE_NUM;n++)
- //一個真實機器節點關聯NODE_NUM個虛擬節點
- nodes.put(hash( "SHARD-" +i+ "-NODE-" +n),shardInfo);
- }
- }
- public SgetShardInfo(Stringkey){
- SortedMap<Long,S>tail=nodes.tailMap(hash(key)); //沿環的順時針找到一個虛擬節點
- if (tail.size()== 0 ){
- return nodes.get(nodes.firstKey());
- }
- return tail.get(tail.firstKey()); //返回該虛擬節點對應的真實機器節點的信息
- }
- /**
- *MurMurHash算法,是非加密HASH算法,性能很高,
- *比傳統的CRC32,MD5,SHA-1(這兩個算法都是加密HASH算法,復雜度本身就很高,帶來的性能上的損害也不可避免)
- *等HASH算法要快很多,而且據說這個算法的碰撞率很低.
- *http://murmurhash.googlepages.com/
- */
- private Longhash(Stringkey){
- ByteBufferbuf=ByteBuffer.wrap(key.getBytes());
- int seed= 0x1234ABCD ;
- ByteOrderbyteOrder=buf.order();
- buf.order(ByteOrder.LITTLE_ENDIAN);
- long m=0xc6a4a7935bd1e995L;
- int r= 47 ;
- long h=seed^(buf.remaining()*m);
- long k;
- while (buf.remaining()>= 8 ){
- k=buf.getLong();
- k*=m;
- k^=k>>>r;
- k*=m;
- h^=k;
- h*=m;
- }
- if (buf.remaining()> 0 ){
- ByteBufferfinish=ByteBuffer.allocate( 8 ).order(
- ByteOrder.LITTLE_ENDIAN);
- //forbig-endianversion,dothisfirst:
- //finish.position(8-buf.remaining());
- finish.put(buf).rewind();
- h^=finish.getLong();
- h*=m;
- }
- h^=h>>>r;
- h*=m;
- h^=h>>>r;
- buf.order(byteOrder);
- return h;
- }
- }
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
