結(jié)論：

1、 200w數(shù)據(jù)，合理使用索引的情況下，單個(gè)stationId下4w數(shù)據(jù)。mongodb查詢(xún)和排序的性能理想，無(wú)正則時(shí)client可以在600ms+完成查詢(xún)，qps300+。有正則時(shí)client可以在1300ms+完成查詢(xún)，qps140+。

2、 Mongodb的count性能比較差，非并發(fā)情況下client可以在330ms完成查詢(xún)，在并發(fā)情況下則需要1-3s。可以考慮估算總數(shù)的方法，http://blog.sina.com.cn/s/blog_56545fd30101442b.html

測(cè)試環(huán)境：mongodb使用 replica set，1主2從，96G內(nèi)存，版本2.6.5

Mem消耗（4個(gè)200w數(shù)據(jù)的collection）：

空間消耗（測(cè)試數(shù)據(jù)最終選定的collection）：

Jvm: -Xms2G -Xmx2G

Ping延遲33ms

查詢(xún)都使用ReadPreference.secondaryPreferred()

無(wú)正則

1、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：20000

查詢(xún)條件：多條件查詢(xún)10條記錄，并逐條獲取記錄

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并發(fā)：200

耗時(shí)：61566

單次耗時(shí)（server）：124ms

Qps:324.85

2、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：20000

查詢(xún)條件：多條件查詢(xún)10條記錄排序，并逐條獲取記錄

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并發(fā)：200

耗時(shí)：63187

單次耗時(shí)（server）：119ms

Qps:316.52

3、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：2000

查詢(xún)條件：多條件查詢(xún)記錄數(shù)

String key = "清泉" + r.nextInt(100);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append("dealCount", new BasicDBObject("$gt", r.nextInt(1000000))); 
long count = collection.count(queryObject);

并發(fā)：200

耗時(shí)：21887

單次耗時(shí)（client）：280ms

Qps:91.38

有正則

4、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：20000

查詢(xún)條件：多條件查詢(xún)10條記錄，并逐條獲取記錄

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject).limit(10).skip(2);

并發(fā)：200

耗時(shí)：137673

單次耗時(shí)（server）：225ms

Qps:145.27

5、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：20000

查詢(xún)條件：多條件查詢(xún)10條記錄排序，并逐條獲取記錄

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
DBCursor cursor = collection.find(queryObject)
.sort(new BasicDBObject("firmId", 1)).limit(10).skip(2);

并發(fā)：200

耗時(shí)：138673

單次耗時(shí)（server）：230ms

Qps:144.22

6、 創(chuàng)建stationId, firmId復(fù)合引查詢(xún)場(chǎng)景（200w集合，12個(gè)字段）

查詢(xún)次數(shù)：2000

查詢(xún)條件：多條件查詢(xún)記錄數(shù)

String key = "清泉" + r.nextInt(1000);
Pattern pattern = Pattern.compile(key);
BasicDBObject queryObject = new BasicDBObject("stationId",
new BasicDBObject("$in", new Integer[]{4, 20}))
.append("firmId", new BasicDBObject("$gt", 5000))
.append ("dealCount", new BasicDBObject("$gt", r.nextInt(1000000)))
.append("firmName", pattern);
long count = collection.count(queryObject);

并發(fā)：200

耗時(shí)：23155

單次耗時(shí)（client）：330ms

Qps:86.37

MongoDB索引特點(diǎn)

1、 復(fù)合索引必須命中首字段，否則無(wú)法生效。后面的字段可以不按順序命中。

2、 復(fù)合索引字段越多占用空間越大，但對(duì)查詢(xún)性能影響不大（數(shù)組索引除外）。

3、 會(huì)根據(jù)sort字段選擇索引，優(yōu)先級(jí)超過(guò)復(fù)合索引中的非首字段。

4、 命中復(fù)合索引的情況下，數(shù)據(jù)量<10w的情況下，過(guò)濾非索引字段，效率也比較高。

5、 全文檢索性能比較差，200w數(shù)據(jù)命中50w的情況下，全文檢索需要10+s，正則需要1s。

MongoDB客戶(hù)端配置，可以提出來(lái)做成spring注入，設(shè)置最大連接數(shù)什么的。

MongoClientOptions options =
MongoClientOptions.builder().maxWaitTime(1000 * 60 * 2)
.connectionsPerHost(500).build();
mongoClient = new MongoClient(Arrays.asList(new ServerAddress("10.205.68.57", 8700),
new ServerAddress("10.205.68.15", 8700),
new ServerAddress("10.205.69.13", 8700)), options);
mongoClient.setReadPreference(ReadPreference.secondaryPreferred());

mongoDB調(diào)研_結(jié)論.docx為最終場(chǎng)景下的測(cè)試數(shù)據(jù)，分為有正則和無(wú)正則。

mongoDB調(diào)研_remote.docx為測(cè)試驗(yàn)證過(guò)程中的數(shù)據(jù)，有可能存在緩存等情況，不一定準(zhǔn)確，功參考。

關(guān)于MongoDB 查詢(xún)優(yōu)化原則的大家了解嗎？下文給大家介紹下，具體內(nèi)容如下所示：

1.在查詢(xún)條件、排序條件、統(tǒng)計(jì)條件的字段上選擇創(chuàng)建索引，可以顯著提高查詢(xún)效率。

2.用$or時(shí)把匹配最多結(jié)果的條件放在最前面，用$and時(shí)把匹配最 少 結(jié)果的條件放在最前面。

3.使用limit()限定返回結(jié)果集的大小，減少數(shù)據(jù)庫(kù)服務(wù)器的資源消耗，以及網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量。

4.盡量少用$in，而是分解成一個(gè)一個(gè)的單一查詢(xún)。尤其是在分片上，$in會(huì)讓你的查詢(xún)?nèi)ッ恳粋€(gè)分片上查一次，如果實(shí)在要用的話(huà)，先在每個(gè)分片上建索引。

5.盡量不用模糊匹配查詢(xún)，用其它精確匹配查詢(xún)代替，比如$in、$nin。

6.查詢(xún)量大、并發(fā)大的情況，通過(guò)前端加緩存解決。

7.能不用安全模式的操作就不用安全模式，這樣客戶(hù)端沒(méi)必要等待數(shù)據(jù)庫(kù)返回查詢(xún)結(jié)果以及處理異常，快了一個(gè)數(shù)量級(jí)。

8.MongoDB的智能查詢(xún)優(yōu)化，判斷粒度為query條件，而skip和limit都不在其判斷之中，當(dāng)分頁(yè)查詢(xún)最后幾頁(yè)時(shí)，先用order反向排序。

9.盡量減少跨分片查詢(xún)，balance均衡次數(shù)少。

10.只查詢(xún)要使用的字段，而不查詢(xún)所有字段。

11.更新字段的值時(shí)，使用$inc比update效率高。

12.apped collections比普通collections的讀寫(xiě)效率高。

13.server-side processing類(lèi)似于SQL查詢(xún)的存儲(chǔ)過(guò)程，可以減少網(wǎng)絡(luò)通訊的開(kāi)銷(xiāo)。

14.必要時(shí)使用hint()強(qiáng)制使用某個(gè)索引查詢(xún)。

15.如果有自己的主鍵列，則使用自己的主鍵列作為id，這樣可以節(jié)約空間，也不需要?jiǎng)?chuàng)建額外的所以。

16.使用explain，根據(jù)exlpain plan進(jìn)行優(yōu)化。

17.范圍查詢(xún)的時(shí)候盡量用$in、$nin代替。

18.查看數(shù)據(jù)庫(kù)查詢(xún)?nèi)罩荆唧w分析的效率低的操作。

19.mongodb有一個(gè)數(shù)據(jù)庫(kù)優(yōu)化工具database profiler，能夠檢測(cè)數(shù)據(jù)庫(kù)操作的性能?？梢园l(fā)現(xiàn)query或者write操作中執(zhí)行效率低的，從而針對(duì)這些操作進(jìn)行優(yōu)化。

20.盡量把更多的操作放在客戶(hù)端，當(dāng)然這就是mongodb設(shè)計(jì)的理念之一。

最新評(píng)論