Java 基于雪花算法生成分布式id
SnowFlake算法原理介紹
在分布式系統(tǒng)中會將一個業(yè)務(wù)的系統(tǒng)部署到多臺服務(wù)器上,用戶隨機訪問其中一臺,而之所以引入分布式系統(tǒng)就是為了讓整個系統(tǒng)能夠承載更大的訪問量。諸如訂單號這些我們需要它是全局唯一的,同時我們基本上都會將它作為查詢條件;出于系統(tǒng)安全考慮不應(yīng)當(dāng)讓其它人輕易的就猜出我們的訂單號,同時也要防止公司的競爭對手直接通過訂單號猜測出公司業(yè)務(wù)體量;為了保證系統(tǒng)的快速響應(yīng)那么生成算法不能太耗時。而雪花算法正好解決了這些問題。
SnowFlake 算法(雪花算法), 是Twitter開源的分布式id生成算法。其核心思想就是: 使用一個64 bit的long型的數(shù)字作為全局唯一id。它的結(jié)構(gòu)如下:

下面我們來對每一部分進(jìn)一步的分析:
- 符號標(biāo)識位(1位):計算機中為了區(qū)分負(fù)數(shù)(1)和正數(shù)(0),設(shè)計者將第一位做為符號位,ID通常使用正數(shù),因此最高位固定為0;
- 41位時間截(毫秒),這個是使用 當(dāng)前時間 減去 開始時間 得到的值;因此一旦我們的算法投入使用,那么程序中設(shè)置的開始時間就不能再去隨意更改了,否則將可能出現(xiàn)重復(fù)的id值;
由于是基于時間來實現(xiàn)的且只有41位,由此可以計算出該算法只能使用70年左右:(2^41)/(1000*60*60*24*365) = 69.7 年 ;
- 10位機器ID:共計1024個節(jié)點,通常將其分為2部分:機房ID(dataCenterId) 和 機器ID(workerId);
- 12 位序列號:毫秒內(nèi)的計數(shù),共計4098個;簡單來說就是每毫秒內(nèi)從0開始計算得到值;
- 最終SnowFlake算法總結(jié)如下:整體上按照時間自增排序,并且整個分布式系統(tǒng)內(nèi)不會產(chǎn)生ID 碰撞(由機房ID和機器ID作區(qū)分),并且效率較高。最多支持1024臺機器,每臺機器每毫秒能夠生成最多4096個ID,整個集群理論上每秒可以生成 1024 * 1000 * 4096 = 42 億個ID。
這里不要覺得每毫秒4098個ID少了,我們計算一下每臺機器理論上每秒可以支持 4096*1000 = 400萬左右;要知道天貓雙11那么大的訂單量每秒也才50萬筆;因此是完全夠用的。
算法實現(xiàn)
我們在上面已經(jīng)了解了SnowFlake的算法結(jié)構(gòu),下面是Java版本的實現(xiàn)。注意我們在實現(xiàn)該算法時,不一定要死死的按照上面的來實現(xiàn),可以根據(jù)自身業(yè)務(wù)情況進(jìn)行定制化;比如說機器ID,對于大部分的小項目來說根本不會分啥機房,因此我們完全可以根據(jù)服務(wù)器IP來弄;同時Twitter公布的算法中最終生成的id長度為15,但是還是根據(jù)自身業(yè)務(wù)情況進(jìn)行調(diào)整。比如標(biāo)準(zhǔn)的算法只支持使用70年左右,但是我們可以通過擴展長度來增加年限。
public class SnowFlakeIdWorker {
/**
* 開始時間戳,單位毫秒;這里是2021-06-01
*/
private static final long TW_EPOCH = 1622476800000L;
/**
* 機器 ID 所占的位數(shù)
*/
private static final long WORKER_ID_BITS = 5L;
/**
* 數(shù)據(jù)標(biāo)識 ID 所占的位數(shù)
*/
private static final long DATA_CENTER_ID_BITS = 5L;
/**
* 支持的最大機器ID,最大為31
*
* PS. Twitter的源碼是 -1L ^ (-1L << workerIdBits);這里最后和-1進(jìn)行異或運算,由于-1的二進(jìn)制補碼的特殊性,就相當(dāng)于進(jìn)行取反。
*/
private static final long MAX_WORKER_ID = ~(-1L << WORKER_ID_BITS);
/**
* 支持的最大機房ID,最大為31
*/
private static final long MAX_DATA_CENTER_ID = ~(-1L << DATA_CENTER_ID_BITS);
/**
* 序列在 ID 中占的位數(shù)
*/
private static final long SEQUENCE_BITS = 12L;
/**
* 機器 ID 向左移12位
*/
private static final long WORKER_ID_SHIFT = SEQUENCE_BITS;
/**
* 機房 ID 向左移17位
*/
private static final long DATA_CENTER_ID_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS;
/**
* 時間截向左移22位
*/
private static final long TIMESTAMP_LEFT_SHIFT = SEQUENCE_BITS + WORKER_ID_BITS + DATA_CENTER_ID_BITS;
/**
* 生成序列的掩碼最大值,最大為4095
*/
private static final long SEQUENCE_MASK = ~(-1L << SEQUENCE_BITS);
/**
* 工作機器 ID(0~31)
*/
private final long workerId;
/**
* 機房 ID(0~31)
*/
private final long dataCenterId;
/**
* 毫秒內(nèi)序列(0~4095)
*/
private long sequence = 0L;
/**
* 上次生成 ID 的時間戳
*/
private long lastTimestamp = -1L;
/**
* 創(chuàng)建 ID 生成器的方式一: 使用工作機器的序號(也就是將機房的去掉給機器ID使用),范圍是 [0, 1023],優(yōu)點是方便給機器編號
*
* @param workerId 工作機器 ID
*/
public SnowFlakeIdWorker(long workerId) {
// 計算最大值
long maxMachineId = (MAX_DATA_CENTER_ID + 1) * (MAX_WORKER_ID + 1) - 1;
if (workerId < 0 || workerId > maxMachineId) {
throw new IllegalArgumentException(String.format("Worker ID can't be greater than %d or less than 0", maxMachineId));
}
// 取高位部分作為機房ID部分
this.dataCenterId = (workerId >> WORKER_ID_BITS) & MAX_DATA_CENTER_ID;
// 取低位部分作為機器ID部分
this.workerId = workerId & MAX_WORKER_ID;
}
/**
* 創(chuàng)建 ID 生成器的方式二: 使用工作機器 ID 和機房 ID,優(yōu)點是方便分機房管理
*
* @param dataCenterId 機房 ID (0~31)
* @param workerId 工作機器 ID (0~31)
*/
public SnowFlakeIdWorker(long dataCenterId, long workerId) {
if (workerId > MAX_WORKER_ID || workerId < 0) {
throw new IllegalArgumentException(String.format("Worker ID can't be greater than %d or less than 0", MAX_WORKER_ID));
}
if (dataCenterId > MAX_DATA_CENTER_ID || dataCenterId < 0) {
throw new IllegalArgumentException(String.format("DataCenter ID can't be greater than %d or less than 0", MAX_DATA_CENTER_ID));
}
this.workerId = workerId;
this.dataCenterId = dataCenterId;
}
/**
* 獲得下一個 ID(該方法是線程安全的)
*
* @return 返回一個長度位15的 long類型的數(shù)字
*/
public synchronized long nextId() {
long timestamp = timeGen();
// 如果當(dāng)前時間小于上一次 ID 生成的時間戳,說明發(fā)生時鐘回?fù)?,為保證ID不重復(fù)拋出異常。
if (timestamp < lastTimestamp) {
throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
}
if (lastTimestamp == timestamp) {
// 同一時間生成的,則序號+1
sequence = (sequence + 1) & SEQUENCE_MASK;
// 毫秒內(nèi)序列溢出:超過最大值
if (sequence == 0) {
// 阻塞到下一個毫秒,獲得新的時間戳
timestamp = tilNextMillis(lastTimestamp);
}
} else {
// 時間戳改變,毫秒內(nèi)序列重置
sequence = 0L;
}
// 上次生成 ID 的時間戳
lastTimestamp = timestamp;
// 移位并通過或運算拼到一起
return ((timestamp - TW_EPOCH) << TIMESTAMP_LEFT_SHIFT)
| (dataCenterId << DATA_CENTER_ID_SHIFT)
| (workerId << WORKER_ID_SHIFT)
| sequence;
}
private long tilNextMillis(long lastTimestamp) {
long timestamp = timeGen();
while (timestamp <= lastTimestamp) {
timestamp = timeGen();
}
return timestamp;
}
private long timeGen() {
return System.currentTimeMillis();
}
}
使用示例
// 初始化
SnowFlakeIdWorker idWorker = new SnowFlakeIdWorker(1, 0);
// 生成ID
for(int i=0; i<100; i++){
System.out.println(idWorker.nextId());
}
注意服務(wù)器不能發(fā)生時鐘回?fù)?,即系統(tǒng)時間發(fā)生錯誤,因為雪花算法是基于時間來生成,所有當(dāng)發(fā)生時鐘回?fù)芎髸?dǎo)致出現(xiàn)重復(fù)ID的問題。
以上就是Java 基于雪花算法生成分布式id的詳細(xì)內(nèi)容,更多關(guān)于Java 雪花算法生成分布式id的資料請關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
SpringBoot 實戰(zhàn) 之 優(yōu)雅終止服務(wù)的方法
本篇文章主要介紹了SpringBoot 實戰(zhàn) 之 優(yōu)雅終止服務(wù)的方法,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2018-05-05
AsyncHttpClient?ClientStats源碼流程解讀
這篇文章主要為大家介紹了AsyncHttpClient?ClientStats源碼流程解讀,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-12-12
IDEA配置Gradle及Gradle安裝的實現(xiàn)步驟
本文主要介紹了IDEA配置Gradle及Gradle安裝的實現(xiàn)步驟,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-08-08

