快捷導(dǎo)航

Redis中HyperLogLog的使用小結(jié)

更新時間：2025年05月09日 11:22:47 作者：BirdMan98

Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu),用于統(tǒng)計唯一元素的數(shù)量（基數(shù)）,本文主要介紹了Redis中HyperLogLog的使用小結(jié),感興趣的可以了解一下

Redis 的 HyperLogLog 是一種概率性數(shù)據(jù)結(jié)構(gòu)，用于統(tǒng)計唯一元素的數(shù)量（基數(shù)），比如你想知道一個網(wǎng)站有多少獨立訪問用戶（UV）。它的主要優(yōu)點是：內(nèi)存占用極小，無論你添加多少數(shù)據(jù)，它通常只占用 12KB 的內(nèi)存。

下面是 HyperLogLog 的詳細(xì)講解：

?? 一、HyperLogLog 是什么？

HyperLogLog 是一種基數(shù)估計算法，它可以用來估算一個集合中不同元素的數(shù)量（Cardinality）。和 Set 不同，Set 會存儲所有元素，而 HyperLogLog 并不會保存具體的數(shù)據(jù)，只保存一種統(tǒng)計狀態(tài)。

? 優(yōu)點：可以統(tǒng)計大規(guī)模唯一元素數(shù)量，內(nèi)存使用極低
? 缺點：不是精確統(tǒng)計，有誤差范圍 ±0.81%

??? 二、使用方法

1. 添加數(shù)據(jù)

PFADD key element [element ...]
PFADD myloglog user1 user2 user3

2. 查詢基數(shù)

PFCOUNT key [key ...]
PFCOUNT myloglog

3. 合并多個 HyperLogLog

PFMERGE destkey sourcekey1 [sourcekey2 ...]
PFMERGE totalLog userLog1 userLog2

?? 三、實際示例

# 添加一些用戶ID
PFADD uv:20250414 user1 user2 user3 user4 user5

# 查詢今天的 UV
PFCOUNT uv:20250414
# 返回 5

# 添加重復(fù)的用戶 ID（不會重復(fù)計數(shù)）
PFADD uv:20250414 user1 user2

# 再查一次
PFCOUNT uv:20250414
# 仍然是 5

?? 四、原理簡要（非必須了解）

HyperLogLog 基于概率算法，核心思想是：
哈希每個元素，觀察哈希值的前綴中連續(xù)0的最大長度，利用這個統(tǒng)計信息估算基數(shù)。

哈希函數(shù)讓輸入隨機分布
長連續(xù) 0 出現(xiàn)的概率很低，說明數(shù)據(jù)多
Redis 將結(jié)果分散到 2^14（16,384）個桶中，提高精度

?? 五、適用場景

網(wǎng)站 UV 統(tǒng)計（每天、每小時用戶訪問數(shù)）
活躍用戶數(shù)統(tǒng)計
數(shù)據(jù)去重統(tǒng)計但不需要精確結(jié)果的場合

?? 六、注意事項

無法獲取添加了哪些元素（它不存數(shù)據(jù)）
是估算值（不是精確值），精度誤差為 ±0.81%
永遠(yuǎn)只占用約 12KB 的內(nèi)存（精確控制內(nèi)存使用）

?? 七、與 Set 對比

項目	Set	HyperLogLog
精度	精確	估算（±0.81%）
內(nèi)存	隨數(shù)據(jù)增大	恒定約 12KB
支持去重計數(shù)	?	?（基于概率）
支持元素查看	?	?（不存數(shù)據(jù)）
使用場景	數(shù)據(jù)可控小集合	超大規(guī)模數(shù)據(jù)統(tǒng)計