唯一計(jì)數(shù)是網(wǎng)站系統(tǒng)中十分常見的一個(gè)功能特性，例如網(wǎng)站需要統(tǒng)計(jì)每天訪問的人數(shù) unique visitor （也就是 UV）。計(jì)數(shù)問題很常見，但解決起來可能十分復(fù)雜：一是需要計(jì)數(shù)的量可能很大，比如大型的站點(diǎn)每天有數(shù)百萬的人訪問，數(shù)據(jù)量相當(dāng)大；二是通常還希望擴(kuò)展計(jì)數(shù)的維度，比如除了需要每天的 UV，還想知道每周或每月的 UV，這樣導(dǎo)致計(jì)算十分復(fù)雜。

在關(guān)系數(shù)據(jù)庫存儲的系統(tǒng)里，實(shí)現(xiàn)唯一計(jì)數(shù)的方法就是 select count(distinct <item_id>)，它十分簡單，但是如果數(shù)據(jù)量很大，這個(gè)語句執(zhí)行是很慢的。用關(guān)系數(shù)據(jù)庫另外一個(gè)問題是插入數(shù)據(jù)性能也不高。

Redis 解決這類計(jì)數(shù)問題得心應(yīng)手，相比關(guān)系數(shù)據(jù)庫速度更快，消耗資源更少，甚至提供了 3 種不同的方法。

1.基于 set

Redis 的 set 用于保存唯一的數(shù)據(jù)集合，通過它可以快速判斷某一個(gè)元素是否存在于集合中，也可以快速計(jì)算某一個(gè)集合的元素個(gè)數(shù)，另外和可以合并集合到一個(gè)新的集合中。涉及的命令如下：

基于 set 的方法簡單有效，計(jì)數(shù)精確，適用面廣，易于理解，它的缺點(diǎn)是消耗資源比較大（當(dāng)然比起關(guān)系數(shù)據(jù)庫是少很多的），如果元素個(gè)數(shù)很大（比如上億的計(jì)數(shù)），消耗內(nèi)存很恐怖。

2.基于 bit

Redis 的 bit 可以用于實(shí)現(xiàn)比 set 內(nèi)存高度壓縮的計(jì)數(shù)，它通過一個(gè) bit 1 或 0 來存儲某個(gè)元素是否存在信息。例如網(wǎng)站唯一訪客計(jì)數(shù)，可以把 user_id 作為 bit 的偏移量 offset，設(shè)置為 1 表示有訪問，使用 1 MB的空間就可以存放 800 多萬用戶的一天訪問計(jì)數(shù)情況。涉及的命令如下：

基于 bit 的方法比起 set 空間消耗小得多，但是它要求元素能否簡單映射為位偏移，適用面窄了不少，另外它消耗的空間取決于最大偏移量，和計(jì)數(shù)值無關(guān)，如果最大偏移量很大，消耗內(nèi)存也相當(dāng)可觀。

3.基于 HyperLogLog

實(shí)現(xiàn)超大數(shù)據(jù)量精確的唯一計(jì)數(shù)都是比較困難的，但是如果只是近似的話，計(jì)算科學(xué)里有很多高效的算法，其中 HyperLogLog Counting 就是其中非常著名的算法，它可以僅僅使用 12 k左右的內(nèi)存，實(shí)現(xiàn)上億的唯一計(jì)數(shù)，而且誤差控制在百分之一左右。涉及的命令如下：

這種計(jì)數(shù)方法真的很神奇，我也沒有徹底弄明白，有興趣可以深入研究相關(guān)文章。

redis 提供的這三種唯一計(jì)數(shù)方式各有優(yōu)劣，可以充分滿足不同情況下的計(jì)數(shù)要求。

最新評論