轉(zhuǎn)自淘寶數(shù)據(jù)平臺(tái)

?

HBase中的所有數(shù)據(jù)文件都存儲(chǔ)在Hadoop HDFS文件系統(tǒng)上，主要包括兩種文件類型：

1.?HFile， HBase中KeyValue數(shù)據(jù)的存儲(chǔ)格式，HFile是Hadoop的二進(jìn)制格式文件，實(shí)際上StoreFile就是對(duì)HFile做了輕量級(jí)包裝，即StoreFile底層就是HFile

2.?HLog File，HBase中WAL（Write Ahead Log） 的存儲(chǔ)格式，物理上是Hadoop的Sequence File

下面主要通過代碼理解一下HFile的存儲(chǔ)格式。

HFile

下圖是HFile的存儲(chǔ)格式：

HFile由6部分組成的，其中數(shù)據(jù)KeyValue保存在Block 0 … N中，其他部分的功能有：確定Block Index的起始位置；確定某個(gè)key所在的Block位置（如block index）；判斷一個(gè)key是否在這個(gè)HFile中（如Meta Block保存了Bloom Filter信息）。具體代碼是在HFile.java中實(shí)現(xiàn)的，HFile內(nèi)容是按照從上到下的順序?qū)懭氲模―ata Block、Meta Block、File Info、Data Block Index、Meta Block Index、Fixed File Trailer）。

KeyValue: HFile里面的每個(gè)KeyValue對(duì)就是一個(gè)簡(jiǎn)單的byte數(shù)組。但是這個(gè)byte數(shù)組里面包含了很多項(xiàng)，并且有固定的結(jié)構(gòu)。我們來看看里面的具體結(jié)構(gòu)：

開始是兩個(gè)固定長(zhǎng)度的數(shù)值，分別表示Key的長(zhǎng)度和Value的長(zhǎng)度。緊接著是Key，開始是固定長(zhǎng)度的數(shù)值，表示RowKey的長(zhǎng)度，緊接著是 RowKey，然后是固定長(zhǎng)度的數(shù)值，表示Family的長(zhǎng)度，然后是Family，接著是Qualifier，然后是兩個(gè)固定長(zhǎng)度的數(shù)值，表示Time Stamp和Key Type（Put/Delete）。Value部分沒有這么復(fù)雜的結(jié)構(gòu)，就是純粹的二進(jìn)制數(shù)據(jù)了。

Data Block: 由DATABLOCKMAGIC和若干個(gè)record組成，其中record就是一個(gè)KeyValue（key length, value length, key, value），默認(rèn)大小是64k，小的數(shù)據(jù)塊有利于隨機(jī)讀操作，而大的數(shù)據(jù)塊則有利于scan操作，這是因?yàn)樽xKeyValue的時(shí)候，HBase會(huì)將查詢到的data block全部讀到Lru Block Cache中去，而不是僅僅將這個(gè)record讀到cache中去。

private void append(final byte [] key, final int koffset, final int klength, final byte [] value, final int voffset, final int vlength) throws IOException {

this.out.writeInt(klength);

this.keylength += klength;

this.out.writeInt(vlength);

this.valuelength += vlength;

this.out.write(key, koffset, klength);

this.out.write(value, voffset, vlength);

}

Meta Block： 由METABLOCKMAGIC和Bloom Filter信息組成。

public void close() throws IOException {

if (metaNames.size() > 0) {

for (int i = 0 ; i < metaNames.size() ; ++ i ) {

dos.write( METABLOCKMAGIC );

metaData.get(i).write(dos);

}

}

}

File Info:? 由MapSize和若干個(gè)key/value，這里保存的是HFile的一些基本信息，如hfile.LASTKEY, hfile.AVG_KEY_LEN, hfile.AVG_VALUE_LEN, hfile.COMPARATOR。

private long writeFileInfo(FSDataOutputStream o) throws IOException {

if (this.lastKeyBuffer != null) {

// Make a copy.? The copy is stuffed into HMapWritable.? Needs a clean

// byte buffer.? Won’t take a tuple.

byte [] b = new byte[this.lastKeyLength];

System. arraycopy (this.lastKeyBuffer, this.lastKeyOffset, b, 0, this.lastKeyLength);

appendFileInfo (this.fileinfo, FileInfo. LASTKEY , b, false);

}

int avgKeyLen = this.entryCount == 0? 0: (int)(this.keylength/this.entryCount);

appendFileInfo (this.fileinfo, FileInfo. AVG_KEY_LEN , Bytes. toBytes (avgKeyLen), false);

int avgValueLen = this.entryCount == 0? 0: (int)(this.valuelength/this.entryCount);

appendFileInfo (this.fileinfo, FileInfo. AVG_VALUE_LEN ,

Bytes. toBytes (avgValueLen), false);

appendFileInfo (this.fileinfo, FileInfo. COMPARATOR , Bytes. toBytes (this.comparator.getClass().getName()), false);

long pos = o.getPos();

this.fileinfo.write(o);

return pos;

}

Data/Meta Block Index: ?由INDEXBLOCKMAGIC和若干個(gè)record組成，而每一個(gè)record由3個(gè)部分組成 — block的起始位置，block的大小，block中的第一個(gè)key。

static long writeIndex(final FSDataOutputStream o, final List<byte []> keys, final List<Long> offsets, final List<Integer> sizes) throws IOException {

long pos = o.getPos();

// Don’t write an index if nothing in the index.

if (keys.size() > 0) {

o.write( INDEXBLOCKMAGIC );

// Write the index.

for (int i = 0; i < keys.size(); ++i) {

o.writeLong(offsets.get(i).longValue());

o.writeInt(sizes.get(i).intValue());

byte [] key = keys.get(i);

Bytes. writeByteArray (o, key);

}

}

return pos;

}

Fixed file trailer: ?大小固定，主要是可以根據(jù)它查找到File Info, Block Index的起始位置。

public void close() throws IOException {

trailer.fileinfoOffset = writeFileInfo(this.outputStream);

trailer.dataIndexOffset = BlockIndex.writeIndex(this.outputStream,

this.blockKeys, this.blockOffsets, this.blockDataSizes);

if (metaNames.size() > 0) {

trailer.metaIndexOffset = BlockIndex.writeIndex(this.outputStream,

this.metaNames, metaOffsets, metaDataSizes);

}

trailer.dataIndexCount = blockKeys.size();

trailer.metaIndexCount = metaNames.size();

trailer.totalUncompressedBytes = totalBytes;

trailer.entryCount = entryCount;

trailer.compressionCodec = this.compressAlgo.ordinal();

trailer.serialize(outputStream);

}

注：上面的代碼剪切自HFile.java中的代碼，更多信息可以查看Hbase源代碼。

參考： http://www.searchtb.com/2011/01/understanding-hbase.html

http://th30z.blogspot.com/2011/02/hbase-io-hfile.html

Hfile存儲(chǔ)結(jié)構(gòu)