前言

來(lái)掘進(jìn)都有兩年多了一直當(dāng)個(gè)小透明,今天終于發(fā)一次文章了.

最近在看 Redis,感覺(jué)收獲很多,寫(xiě)篇博客記錄一下.

Redis 有五種基礎(chǔ)數(shù)據(jù)結(jié)構(gòu):string,list,set,zset,hash.其中 string是最最最簡(jiǎn)單的也是最常用的.這個(gè)數(shù)據(jù)類(lèi)型雖然簡(jiǎn)單但是內(nèi)部的結(jié)構(gòu)設(shè)計(jì)卻很是精致.

基本介紹

相比于 Java,在 Redis 中 string 是可以修改的,是動(dòng)態(tài)字符串(Simple Dynamic String 簡(jiǎn)稱(chēng) SDS)他的內(nèi)部結(jié)構(gòu)更像是一個(gè) ArrayList,維護(hù)一個(gè)字節(jié)數(shù)組并預(yù)分配冗余空間以減少內(nèi)存的頻繁分配.當(dāng)字符串的長(zhǎng)度小于 1MB時(shí),每次擴(kuò)容都是加倍現(xiàn)有的空間,如果字符串長(zhǎng)度超過(guò) 1MB 時(shí),每次擴(kuò)容時(shí)只會(huì)擴(kuò)展 1MB 的空間.

ps:字符串長(zhǎng)度為最大長(zhǎng)度 512MB.

> set name test
OK
> get name
"test"
> mset name1 test1 name2 test2
OK
> mget name1 name2
1) "test1"
2) "test2"
> del name
(integer) 1

上面是字符串的基本操作 命令mset 和 mget 可以對(duì)多個(gè)字符串讀寫(xiě) 節(jié)省網(wǎng)絡(luò)開(kāi)銷(xiāo)

不僅如此redis 的字符串還可以用來(lái)儲(chǔ)存整數(shù)(更不像Java 的字符串了),并且可以自增操作.字符串保存整數(shù)類(lèi)型的的范圍在 至
如果保存的數(shù)大于這個(gè)取值范圍就會(huì)變成普通字符類(lèi)型 無(wú)法自增操作.這將由字符串編碼格式?jīng)Q定.

字符串由多個(gè)字節(jié)組成,每個(gè)字節(jié)有 8bit.這樣的數(shù)據(jù)結(jié)構(gòu)還可以當(dāng)做 bitmap 去使用.

> set foo 1
OK
> get foo 
"1"
> incr foo
(integer) 2
> get foo
"2"

內(nèi)部原理

基本實(shí)現(xiàn)

上圖所示為字符串的基本結(jié)構(gòu),其中 content 里面保存的是字符串內(nèi)容,和 c 一樣用 0x\0作為結(jié)束字符.這個(gè)結(jié)束字符不會(huì)被計(jì)算len 中.代碼如下:

struct SDS{
  T capacity;		//數(shù)組容量
  T len;			//實(shí)際長(zhǎng)度
  byte flages;	//標(biāo)志位,低三位表示類(lèi)型
  byte[] content;	//數(shù)組內(nèi)容
}

可以看到 capacity和len 都是泛型,為什么不直接使用 int 呢?因?yàn)?Redis 內(nèi)部做了很多優(yōu)化,為了減少內(nèi)存的使用不同長(zhǎng)度的字符串會(huì)使用不同的數(shù)據(jù)類(lèi)型去表示.并且在創(chuàng)建字符串的時(shí)候 len 會(huì)和 capacity 一樣大,沒(méi)有冗余的空間,因?yàn)樾薷淖址膱?chǎng)景很少.(Redis 真的將內(nèi)存優(yōu)化到了極致)

編碼格式

Redis 字符串編碼格式有這么幾種:int 編碼、embstr編碼和raw 編碼 下面就詳細(xì)介紹下這幾種編碼的區(qū)別.

在這之前先要說(shuō)說(shuō)RedisObject. Redis 的對(duì)象頭,所有的 Redis 對(duì)象都有下面這個(gè)頭部結(jié)構(gòu).

struct RedisObject{
  int4 type;		//數(shù)據(jù)類(lèi)型 5 種
  int4 encoding;	//鍵值內(nèi)部編碼格式 int 或 embstr 等等
  int24 lru;		// 當(dāng)內(nèi)存超限時(shí)采用LRU算法清除內(nèi)存中的對(duì)象
  
  int32 refcount;	//改鍵值被引用的數(shù)量
  void *ptr;		//對(duì)象內(nèi)容
}

int 編碼

當(dāng)儲(chǔ)存的值是64 位有符號(hào)整數(shù)類(lèi)型的時(shí)候?qū)?huì)采用 int  編碼,這時(shí)可以使用鍵值自增操作.Redis 在啟動(dòng)時(shí)會(huì)建立1w 個(gè)redisObject共享對(duì)象下文會(huì)講到,值在[0,1000)之間.如果存入整數(shù)的值在[0,1000)中Redis將不會(huì)創(chuàng)建新的對(duì)象,而是直接指向共享對(duì)象,鍵值不額外占用空間.

使用 object encoding命令可以查看編碼格式 使用 debug object命令可以查看更多信息

> set foo 1
OK
> object encoding foo
"int"
> set foo2 1
OK
> debug object foo
Value at:0x7f44b020aca0 refcount:2147483647 encoding:int serializedlength:2 lru:14691591 lru_seconds_idle:72588
> debug object foo2
Value at:0x7f44b020aca0 refcount:2147483647 encoding:int serializedlength:2 lru:14691591 lru_seconds_idle:72594

可以看到 foo 和 foo2  都在0x7f44b020aca0這里指向的是同一個(gè)對(duì)象

embstr 編碼

當(dāng)存儲(chǔ)的字符串長(zhǎng)度較短時(shí)(len<=44 字節(jié)),Redis將會(huì)采用 embstr 編碼.embstr 即embedded string 嵌入式的字符串.將SDS結(jié)構(gòu)體嵌入RedisObject對(duì)象中, 使用 malloc 方法一次分配內(nèi)存地址是連續(xù)的.

如圖所示:

raw 編碼

當(dāng)存儲(chǔ)的字符串長(zhǎng)度較長(zhǎng)時(shí)(len>44 字節(jié)),Redis 將會(huì)采用 raw 編碼,和 embstr 最大的區(qū)別就是 RedisObject 和 SDS 不在一起了,內(nèi)存地址不再連續(xù)了.

如圖所示:

思考

為什么字符串會(huì)有兩種格式 embstr 和格式和 raw分界線是 44 個(gè)字節(jié)?

Redis 默認(rèn)的內(nèi)存分配器jemalloc分配內(nèi)存大小的單位是次方,為了容納一個(gè)完整的 embstr 對(duì)象,最少會(huì)分配 32 字節(jié)的空間,再長(zhǎng)些就是 64 字節(jié),再之后就認(rèn)為這是一個(gè)大字符串不適合用 embstr 存儲(chǔ),而改用 raw 編碼了.

那么問(wèn)題來(lái)了,64 字節(jié)的空間字符串長(zhǎng)度是多少呢?答案就是 44 字節(jié).

下圖中 content 的長(zhǎng)度為 45 字節(jié)減去結(jié)尾的 0x\0,就剩下 44 字節(jié)了.

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。

最新評(píng)論