亚洲免费在线-亚洲免费在线播放-亚洲免费在线观看-亚洲免费在线观看视频-亚洲免费在线看-亚洲免费在线视频

Hfile存儲(chǔ)結(jié)構(gòu)

系統(tǒng) 1921 0

轉(zhuǎn)自淘寶數(shù)據(jù)平臺(tái)

?

HBase中的所有數(shù)據(jù)文件都存儲(chǔ)在Hadoop HDFS文件系統(tǒng)上,主要包括兩種文件類型:

1.?HFile, HBase中KeyValue數(shù)據(jù)的存儲(chǔ)格式,HFile是Hadoop的二進(jìn)制格式文件,實(shí)際上StoreFile就是對(duì)HFile做了輕量級(jí)包裝,即StoreFile底層就是HFile

2.?HLog File,HBase中WAL(Write Ahead Log) 的存儲(chǔ)格式,物理上是Hadoop的Sequence File

下面主要通過代碼理解一下HFile的存儲(chǔ)格式。

HFile

下圖是HFile的存儲(chǔ)格式:

Hfile存儲(chǔ)結(jié)構(gòu)

HFile由6部分組成的,其中數(shù)據(jù)KeyValue保存在Block 0 … N中,其他部分的功能有:確定Block Index的起始位置;確定某個(gè)key所在的Block位置(如block index);判斷一個(gè)key是否在這個(gè)HFile中(如Meta Block保存了Bloom Filter信息)。具體代碼是在HFile.java中實(shí)現(xiàn)的,HFile內(nèi)容是按照從上到下的順序?qū)懭氲模―ata Block、Meta Block、File Info、Data Block Index、Meta Block Index、Fixed File Trailer)。

KeyValue: HFile里面的每個(gè)KeyValue對(duì)就是一個(gè)簡(jiǎn)單的byte數(shù)組。但是這個(gè)byte數(shù)組里面包含了很多項(xiàng),并且有固定的結(jié)構(gòu)。我們來看看里面的具體結(jié)構(gòu):

開始是兩個(gè)固定長(zhǎng)度的數(shù)值,分別表示Key的長(zhǎng)度和Value的長(zhǎng)度。緊接著是Key,開始是固定長(zhǎng)度的數(shù)值,表示RowKey的長(zhǎng)度,緊接著是 RowKey,然后是固定長(zhǎng)度的數(shù)值,表示Family的長(zhǎng)度,然后是Family,接著是Qualifier,然后是兩個(gè)固定長(zhǎng)度的數(shù)值,表示Time Stamp和Key Type(Put/Delete)。Value部分沒有這么復(fù)雜的結(jié)構(gòu),就是純粹的二進(jìn)制數(shù)據(jù)了。

Data Block: 由DATABLOCKMAGIC和若干個(gè)record組成,其中record就是一個(gè)KeyValue(key length, value length, key, value),默認(rèn)大小是64k,小的數(shù)據(jù)塊有利于隨機(jī)讀操作,而大的數(shù)據(jù)塊則有利于scan操作,這是因?yàn)樽xKeyValue的時(shí)候,HBase會(huì)將查詢到的data block全部讀到Lru Block Cache中去,而不是僅僅將這個(gè)record讀到cache中去。

private void append(final byte [] key, final int koffset, final int klength, final byte [] value, final int voffset, final int vlength) throws IOException {

this.out.writeInt(klength);

this.keylength += klength;

this.out.writeInt(vlength);

this.valuelength += vlength;

this.out.write(key, koffset, klength);

this.out.write(value, voffset, vlength);

}

Meta Block: 由METABLOCKMAGIC和Bloom Filter信息組成。

public void close() throws IOException {

if (metaNames.size() > 0) {

for (int i = 0 ; i < metaNames.size() ; ++ i ) {

dos.write( METABLOCKMAGIC );

metaData.get(i).write(dos);

}

}

}

File Info:? 由MapSize和若干個(gè)key/value,這里保存的是HFile的一些基本信息,如hfile.LASTKEY, hfile.AVG_KEY_LEN, hfile.AVG_VALUE_LEN, hfile.COMPARATOR。

private long writeFileInfo(FSDataOutputStream o) throws IOException {

if (this.lastKeyBuffer != null) {

// Make a copy.? The copy is stuffed into HMapWritable.? Needs a clean

// byte buffer.? Won’t take a tuple.

byte [] b = new byte[this.lastKeyLength];

System. arraycopy (this.lastKeyBuffer, this.lastKeyOffset, b, 0, this.lastKeyLength);

appendFileInfo (this.fileinfo, FileInfo. LASTKEY , b, false);

}

int avgKeyLen = this.entryCount == 0? 0: (int)(this.keylength/this.entryCount);

appendFileInfo (this.fileinfo, FileInfo. AVG_KEY_LEN , Bytes. toBytes (avgKeyLen), false);

int avgValueLen = this.entryCount == 0? 0: (int)(this.valuelength/this.entryCount);

appendFileInfo (this.fileinfo, FileInfo. AVG_VALUE_LEN ,

Bytes. toBytes (avgValueLen), false);

appendFileInfo (this.fileinfo, FileInfo. COMPARATOR , Bytes. toBytes (this.comparator.getClass().getName()), false);

long pos = o.getPos();

this.fileinfo.write(o);

return pos;

}

Data/Meta Block Index: ?由INDEXBLOCKMAGIC和若干個(gè)record組成,而每一個(gè)record由3個(gè)部分組成 — block的起始位置,block的大小,block中的第一個(gè)key。

static long writeIndex(final FSDataOutputStream o, final List<byte []> keys, final List<Long> offsets, final List<Integer> sizes) throws IOException {

long pos = o.getPos();

// Don’t write an index if nothing in the index.

if (keys.size() > 0) {

o.write( INDEXBLOCKMAGIC );

// Write the index.

for (int i = 0; i < keys.size(); ++i) {

o.writeLong(offsets.get(i).longValue());

o.writeInt(sizes.get(i).intValue());

byte [] key = keys.get(i);

Bytes. writeByteArray (o, key);

}

}

return pos;

}

Fixed file trailer: ?大小固定,主要是可以根據(jù)它查找到File Info, Block Index的起始位置。

public void close() throws IOException {

trailer.fileinfoOffset = writeFileInfo(this.outputStream);

trailer.dataIndexOffset = BlockIndex.writeIndex(this.outputStream,

this.blockKeys, this.blockOffsets, this.blockDataSizes);

if (metaNames.size() > 0) {

trailer.metaIndexOffset = BlockIndex.writeIndex(this.outputStream,

this.metaNames, metaOffsets, metaDataSizes);

}

trailer.dataIndexCount = blockKeys.size();

trailer.metaIndexCount = metaNames.size();

trailer.totalUncompressedBytes = totalBytes;

trailer.entryCount = entryCount;

trailer.compressionCodec = this.compressAlgo.ordinal();

trailer.serialize(outputStream);

}

注:上面的代碼剪切自HFile.java中的代碼,更多信息可以查看Hbase源代碼。

參考: http://www.searchtb.com/2011/01/understanding-hbase.html

http://th30z.blogspot.com/2011/02/hbase-io-hfile.html

Hfile存儲(chǔ)結(jié)構(gòu)


更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主

微信掃碼或搜索:z360901061

微信掃一掃加我為好友

QQ號(hào)聯(lián)系: 360901061

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點(diǎn)擊下面給點(diǎn)支持吧,站長(zhǎng)非常感激您!手機(jī)微信長(zhǎng)按不能支付解決辦法:請(qǐng)將微信支付二維碼保存到相冊(cè),切換到微信,然后點(diǎn)擊微信右上角掃一掃功能,選擇支付二維碼完成支付。

【本文對(duì)您有幫助就好】

您的支持是博主寫作最大的動(dòng)力,如果您喜歡我的文章,感覺我的文章對(duì)您有幫助,請(qǐng)用微信掃描上面二維碼支持博主2元、5元、10元、自定義金額等您想捐的金額吧,站長(zhǎng)會(huì)非常 感謝您的哦!!!

發(fā)表我的評(píng)論
最新評(píng)論 總共0條評(píng)論
主站蜘蛛池模板: 日韩精品国产自在欧美 | 亚洲国产精品综合久久20 | 99精品视频在线观看re | 天天操夜夜操免费视频 | 亚洲午夜片子大全精品 | 欧洲国产伦久久久久久久 | 国产精品久久亚洲不卡动漫 | 国产欧美另类 | 成人久久18免费网址 | 精品一久久香蕉国产线看播放 | 精品国产视频在线观看 | 九九99九九视频在线观看 | 国产亚洲欧洲国产综合一区 | 久久这里只有精品99 | 久久精品国产亚洲a不卡 | 日韩 欧美 自拍 在线 视频 | 一级毛片视频免费观看 | 国产精品乱码免费一区二区 | 亚洲国产人成中文幕一级二级 | 日本αv | 在线观看精品国内福利视频 | 精品九九久久国内精品 | 婷婷玖玖 | 国产在线欧美日韩一区二区 | 欧美z0o| 亚洲日本久久一区二区va | 久久国产视频网站 | 精品国产_亚洲人成在线高清 | 亚洲国产精品久久久久久 | 久色免费视频 | 99热这里只有精品国产在热久久 | 精品免费tv久久久久久久 | 久久久久国产成人精品 | 在线精品国内视频秒播 | 国产网红自拍 | 国产美女久久久久久久久久久 | 亚洲日韩精品欧美一区二区 | 伊人狼人视频 | 日本免费不卡在线一区二区三区 | 国产欧美一区二区三区免费看 | 国产精品国产自线拍手机观看 |