Kafka的性能快這是大廠Java面試經(jīng)常問的一個話題，下面我就重點(diǎn)講解Kafka為什么性能這么快的4大核心原因

1、頁緩存技術(shù)

Kafka 是基于操作系統(tǒng) 的頁緩存(page cache)來實(shí)現(xiàn)文件寫入的，我們也可以稱之為 os cache，意思就是操作系統(tǒng)自己管理的緩存。

Kafka 在寫入磁盤文件的時候，可以直接寫入這個 os cache 里，也就是僅僅寫入內(nèi)存中，接下來由操作系統(tǒng)自己決定什么時候把 os cache 里的數(shù)據(jù)真的刷入磁盤文件中。

通過這一個步驟，就可以將磁盤文件寫性能提升很多了，因?yàn)槠鋵?shí)這里相當(dāng)于是在寫內(nèi)存，不是在寫磁盤，原理圖如下：

2、磁盤順序?qū)?/h2>

另一個主要功能是 kafka 寫數(shù)據(jù)的時候，是以磁盤順序?qū)懙姆绞絹韺懙?，也就是說僅僅將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。

為什么要采用磁盤順序?qū)懀?/strong>

完成一次磁盤 IO，需要經(jīng)過尋道、旋轉(zhuǎn)和數(shù)據(jù)傳輸三個步驟：

• 尋道（時間）：磁頭移動定位到指定磁道;
• 旋轉(zhuǎn)延遲（時間）：等待指定扇區(qū)從磁頭下旋轉(zhuǎn)經(jīng)過；
• 數(shù)據(jù)傳輸（時間）：數(shù)據(jù)在磁盤、內(nèi)存與網(wǎng)絡(luò)之間的實(shí)際傳輸。

首先必須找到柱面，即磁頭需要移動對準(zhǔn)相應(yīng)磁道，這個過程叫做尋道，所耗費(fèi)時間叫做尋道時間，然后目標(biāo)扇區(qū)旋轉(zhuǎn)到磁頭下,這個過程耗費(fèi)的時間叫做旋轉(zhuǎn)時間。

怎么樣才能提高磁盤的讀寫效率呢?

即采用磁盤順序?qū)?，這樣就不需要尋道時間，只需很少的旋轉(zhuǎn)時間，將數(shù)據(jù)追加到文件的末尾，不是在文件的隨機(jī)位置來修改數(shù)據(jù)。

基于上面兩點(diǎn)，kafka 就實(shí)現(xiàn)了寫入數(shù)據(jù)的超高性能。

3、零拷貝

先來看看非零拷貝的情況，如下圖所示：

可以看到數(shù)據(jù)的拷貝從內(nèi)存拷貝到 Kafka 服務(wù)進(jìn)程那塊，又拷貝到 Socket 緩存那塊，整個過程耗費(fèi)的時間比較高。

Kafka 利用了 Linux 的 sendFile 技術(shù)（NIO），省去了進(jìn)程切換和一次數(shù)據(jù)拷貝，讓性能變得更好，

如下圖所示：

通過 零拷貝技術(shù)，就不需要把 os cache 里的數(shù)據(jù)拷貝到應(yīng)用緩存，再從應(yīng)用緩存拷貝到 Socket 緩存了，兩次拷貝都省略了，所以叫做零拷貝。

4、分區(qū)分段+索引

Kafka 的 message 是按 topic分 類存儲的，topic 中的數(shù)據(jù)又是按照一個一個的 partition 即分區(qū)存儲到不同 broker 節(jié)點(diǎn)。每個 partition 對應(yīng)了操作系統(tǒng)上的一個文件夾，partition 實(shí)際上又是按照segment分段存儲的。

通過這種分區(qū)分段的設(shè)計，Kafka 的 message 消息實(shí)際上是分布式存儲在一個一個小的 segment 中的，每次文件操作也是直接操作的 segment。為了進(jìn)一步的查詢優(yōu)化，Kafka 又默認(rèn)為分段后的數(shù)據(jù)文件建立了索引文件，就是文件系統(tǒng)上的.index文件。這種分區(qū)分段+索引的設(shè)計，不僅提升了數(shù)據(jù)讀取的效率，同時也提高了數(shù)據(jù)操作的并行度。

到此這篇關(guān)于Java中的Kafka為什么性能這么快及4大核心詳析的文章就介紹到這了,更多相關(guān)Java Kafka內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

• Spring?Boot整合Kafka教程詳解
• @KafkaListener 如何使用
• java?kafka如何動態(tài)設(shè)置用戶讀寫權(quán)限