快捷導(dǎo)航

Elasticsearch算分優(yōu)化方案之rescore_query示例詳解

更新時間：2023年08月23日 15:54:47 作者：醉魚

這篇文章主要為大家介紹了Elasticsearch算分優(yōu)化方案之rescore_query示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪

簡介

今天來說一說Elasticsearch 的重新評分，即在檢索出來一次結(jié)果的基礎(chǔ)上在進行檢索提升數(shù)據(jù)排序效果，但是僅對查詢或者post_filter階段返回的前多少條進行二次查詢。在每個分片上進行二次檢索的文檔數(shù)量時可以通過window_size 控制的，該參數(shù)默認10。

默認情況下，原來的查詢語句與二次查詢的份數(shù)將線性組合以生成文檔的最終得分_score,原始查詢語句的權(quán)重通過query_weight控制，重新二次查詢的權(quán)重通過rescore_query_weight控制，他們默認都是1。

在Elasticsearch中，rescore_query是一種用于改進搜索結(jié)果排序的查詢。它可以在原始查詢結(jié)果的基礎(chǔ)上重新計算得分，并重新排序搜索結(jié)果。

rescore_query通常用于在搜索過程的后期階段對搜索結(jié)果進行優(yōu)化。它可以根據(jù)特定的需求和業(yè)務(wù)規(guī)則，對原始查詢結(jié)果進行二次排序，以提高最相關(guān)的文檔的排名。

rescore_query可以在分布式搜索中非常有用，因為它僅在原始查詢的結(jié)果上執(zhí)行計算，而不需要重新執(zhí)行整個查詢過程。這可以提高搜索速度并減輕系統(tǒng)負載。

通過使用rescore_query，可以根據(jù)不同的評分算法、過濾器或其他上下文信息，對搜索結(jié)果進行個性化的定制排序。它可以根據(jù)文檔的屬性、時間戳、地理位置等進行排序，以獲得更加準確和有用的搜索結(jié)果。

總而言之，rescore_query是一種用于改進搜索結(jié)果排序的查詢，可以根據(jù)不同的規(guī)則和需求重新計算得分并重新排序搜索結(jié)果，以提高搜索準確性和實用性。

實戰(zhàn)

搭建ES環(huán)境

version: '3.8'
services:
  cerebro:
    image: lmenezes/cerebro:0.8.3
    container_name: cerebro
    ports:
     - "9000:9000"
    command:
     - -Dhosts.0.host=http://eshot:9200
    networks:
     - elastic
  kibana:
    image: docker.elastic.co/kibana/kibana:8.1.3
    container_name: kibana
    environment:
      - I18N_LOCALE=zh-CN
      - XPACK_GRAPH_ENABLED=true
      - TIMELION_ENABLED=true
      - XPACK_MONITORING_COLLECTION_ENABLED="true"
      - ELASTICSEARCH_HOSTS=http://eshot:9200
      - server.publicBaseUrl=http://192.168.160.234:5601
    ports:
      - "5601:5601"
    networks:
      - elastic
  eshot:
    image: elasticsearch:8.1.3
    container_name: eshot
    environment:
      - node.name=eshot
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=hot
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eshot\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eshot\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    ports:
      - 9200:9200
    networks:
      - elastic
  eswarm:
    image: elasticsearch:8.1.3
    container_name: eswarm
    environment:
      - node.name=eswarm
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=warm
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\eswarm\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\eswarm\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
  escold:
    image: elasticsearch:8.1.3
    container_name: escold
    environment:
      - node.name=escold
      - cluster.name=es-docker-cluster
      - discovery.seed_hosts=eshot,eswarm,escold
      - cluster.initial_master_nodes=eshot,eswarm,escold
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - xpack.security.enabled=false
      - node.attr.node_type=cold
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - D:\zuiyuftp\docker\es8.1\escold\data:/usr/share/elasticsearch/data
      - D:\zuiyuftp\docker\es8.1\escold\logs:/usr/share/elasticsearch/logs
      - D:\zuiyuftp\docker\es8.1\eshot\plugins:/usr/share/elasticsearch/plugins
    networks:
      - elastic
# volumes:
#   eshotdata:
#     driver: local
#   eswarmdata:
#     driver: local
#   escolddata:
#     driver: local
networks:
  elastic:
    driver: bridge

創(chuàng)建索引

PUT /zfc-doc-000006
{
  "mappings": {
    "properties": {
      "title":{
        "type": "text",
        "analyzer": "ik_max_word"
      },
      "content": {
        "type": "text",
        "analyzer": "ik_max_word"
      }
    }
  }
}

添加測試數(shù)據(jù)

PUT _bulk
{"index":{"_index":"zfc-doc-000006","_id":"1"}}
{"title":"ES實戰(zhàn)","content":"ES的實戰(zhàn)操作，實戰(zhàn)要領(lǐng)，實戰(zhàn)經(jīng)驗"}
{"index":{"_index":"zfc-doc-000006","_id":"2"}}
{"title":"MySQL實戰(zhàn)","content":"MySQL的實戰(zhàn)操作"}
{"index":{"_index":"zfc-doc-000006","_id":"3"}}
{"title":"MySQL","content":"MySQL一定要會"}

檢索驗證

首先我們還是正常檢索一下content字段中包含實戰(zhàn)的文檔

GET zfc-doc-000006/_search
{
  "query": {
    "match": {
      "content": "實戰(zhàn)"
    }
  }
}

按照我們的預(yù)期，因為文檔1中包含實戰(zhàn)有3次出現(xiàn)，所以title為ES實戰(zhàn)的排名靠前，可以看到文檔1的算分為0.6，位列第一，輸出結(jié)果如下

"max_score" : 0.667102,
    "hits" : [
      {
        "_index" : "zfc-doc-000006",
        "_id" : "1",
        "_score" : 0.667102,
        "_source" : {
          "title" : "ES實戰(zhàn)",
          "content" : "ES的實戰(zhàn)操作，實戰(zhàn)要領(lǐng)，實戰(zhàn)經(jīng)驗"
        }
      },
      {
        "_index" : "zfc-doc-000006",
        "_id" : "2",
        "_score" : 0.5442147,
        "_source" : {
          "title" : "MySQL實戰(zhàn)",
          "content" : "MySQL的實戰(zhàn)操作"
        }
      }
    ]

然后對檢索出來的實戰(zhàn)的文檔中，進行重新算分排序，包含MySQL的排名在前，增加算分

GET zfc-doc-000006/_search
{
  "query": {
    "match": {
      "content": "實戰(zhàn)"
    }
  },
  "rescore": {
    "query": {
      "rescore_query":{
        "match":{
          "title":"MySQL"
        }
      },
      "query_weight" : 0.7,
      "rescore_query_weight" : 1.2
    },
    "window_size": 50
  }
}

上述查詢語句的意思就是查詢content字段中包含”實戰(zhàn)“的文檔，權(quán)重為0.7。并對文檔中title為MySQL的文檔增加評分，權(quán)重為1.2，window_size為50，表示取分片結(jié)果的前50進行重新算分

響應(yīng)結(jié)果如下，可以看到title為MySQL實戰(zhàn)的評分已經(jīng)變?yōu)?code>0.9，遠遠的超過了title為ES實戰(zhàn)的文檔

"hits" : [
      {
        "_index" : "zfc-doc-000006",
        "_id" : "2",
        "_score" : 0.9022989,
        "_source" : {
          "title" : "MySQL實戰(zhàn)",
          "content" : "MySQL的實戰(zhàn)操作"
        }
      },
      {
        "_index" : "zfc-doc-000006",
        "_id" : "1",
        "_score" : 0.46697137,
        "_source" : {
          "title" : "ES實戰(zhàn)",
          "content" : "ES的實戰(zhàn)操作，實戰(zhàn)要領(lǐng)，實戰(zhàn)經(jīng)驗"
        }
      }
    ]