merge是lucene的底層機(jī)制，merge過程會將index中的segment進(jìn)行合并，生成更大的segment，提高搜索效率。

segment是lucene索引的一種存儲結(jié)構(gòu)，每個segment都是一部分?jǐn)?shù)據(jù)的完整索引，它是lucene每次flush或merge時候形成。

每次flush就是將內(nèi)存中的索引寫出一個獨立segment的過程。所以隨著數(shù)據(jù)的不斷增加，會形成越來越多的segment。

因為segment是不可變的，刪除操作不會改變segment內(nèi)部數(shù)據(jù)，只是會在另外的地方記錄某些數(shù)據(jù)刪除，這樣可能會導(dǎo)致segment中存在大量無用數(shù)據(jù)。

搜索時，每個segment都需要一個reader來讀取里面的數(shù)據(jù)，大量的segment會嚴(yán)重影響搜索效率。

而merge過程，會將小的segment寫到一起形成一個大的segment，減少其數(shù)量。同時重寫過程會拋棄那些已經(jīng)刪除的數(shù)據(jù)。因此segment的merge是有利于查詢效率的。

elasticsearch的merge其實就是lucene的merge機(jī)制。merge過程是lucene有一個后臺線程，它會根據(jù)merge策略來決定是否進(jìn)行merge，一旦merge的條件滿足，就會啟動后臺merge。

merge策略分為兩種，這也是大多數(shù)大數(shù)據(jù)框架所采用的，segment的大小和segment中doc的數(shù)量。

以這兩個標(biāo)準(zhǔn)為基礎(chǔ)實現(xiàn)了三種merge策略：TieredMergePolicy、LogDocMergePolicy 及LogByteSizeMergePolicy。

elasticsearch這一部分就是對這三種合并策略的封裝，并提供了對于的配置。

它的實現(xiàn)方式如下所示：

底層mergeprovider實現(xiàn)了對三種合并策略的初始化和配置，并通過getMergePolicy()方法對外提供。

這三種合并策略中LogDocMergePolicy是根據(jù)doc數(shù)量進(jìn)行合并，其它兩種都是根據(jù)segment的大小，只是TieredMergePolicy合并過程是分層進(jìn)行，它會把小于某一值的所有segment合并成一個大的segment，然后再一次進(jìn)行。

以上是合并策略，除了合并策略還有一個要說的就是合并線程。前面說過，merge是通過獨立線程完成的，lucene對于線程策略也有兩種，一種是順序，另外一種就是并發(fā)。

順序合并策略會阻止索引的進(jìn)行，因此多數(shù)情況先不會使用，而并發(fā)合并則是和index過程同時進(jìn)行，這樣不會影響索引和搜索。

elasticsearch同樣通過provider的形式提供這兩種合并線程配置。

merge能夠通過減少segment數(shù)量來提高搜索速度。但是merge的過程會對索引吞吐量及搜索速度有一定的影響，因此需要配置適當(dāng)?shù)暮喜⒉呗詤?shù)。對于資源不足的環(huán)境，最好禁止自動merge，選擇空閑時段手動進(jìn)行merge。

以上就是elasticsearch索引index之merge底層機(jī)制的合并講解的詳細(xì)內(nèi)容，更多關(guān)于elasticsearch索引index merge合并的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論