快捷導(dǎo)航

java 使用ElasticSearch完成百萬(wàn)級(jí)數(shù)據(jù)查詢附近的人功能

更新時(shí)間：2018年01月13日 16:45:42 作者：天涯淚小武

本篇文章主要介紹了java 使用ElasticSearch完成百萬(wàn)級(jí)數(shù)據(jù)查詢附近的人功能，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧

上一篇文章介紹了ElasticSearch使用Repository和ElasticSearchTemplate完成構(gòu)建復(fù)雜查詢條件，簡(jiǎn)單介紹了ElasticSearch使用地理位置的功能。

這一篇我們來(lái)看一下使用ElasticSearch完成大數(shù)據(jù)量查詢附近的人功能，搜索N米范圍的內(nèi)的數(shù)據(jù)。

準(zhǔn)備環(huán)境

本機(jī)測(cè)試使用了ElasticSearch最新版5.5.1，SpringBoot1.5.4，spring-data-ElasticSearch2.1.4.

新建Springboot項(xiàng)目，勾選ElasticSearch和web。

pom文件如下

<?xml version="1.0" encoding="UTF-8"?> 
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 
  <modelVersion>4.0.0</modelVersion> 
 
  <groupId>com.tianyalei</groupId> 
  <artifactId>elasticsearch</artifactId> 
  <version>0.0.1-SNAPSHOT</version> 
  <packaging>jar</packaging> 
 
  <name>elasticsearch</name> 
  <description>Demo project for Spring Boot</description> 
 
  <parent> 
    <groupId>org.springframework.boot</groupId> 
    <artifactId>spring-boot-starter-parent</artifactId> 
    <version>1.5.4.RELEASE</version> 
    <relativePath/> <!-- lookup parent from repository --> 
  </parent> 
 
  <properties> 
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
    <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding> 
    <java.version>1.8</java.version> 
  </properties> 
 
  <dependencies> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId> 
    </dependency> 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-web</artifactId> 
    </dependency> 
 
    <dependency> 
      <groupId>org.springframework.boot</groupId> 
      <artifactId>spring-boot-starter-test</artifactId> 
      <scope>test</scope> 
    </dependency> 
    <dependency> 
      <groupId>com.sun.jna</groupId> 
      <artifactId>jna</artifactId> 
      <version>3.0.9</version> 
    </dependency> 
  </dependencies> 
 
  <build> 
    <plugins> 
      <plugin> 
        <groupId>org.springframework.boot</groupId> 
        <artifactId>spring-boot-maven-plugin</artifactId> 
      </plugin> 
    </plugins> 
  </build>  
</project>

新建model類Person

package com.tianyalei.elasticsearch.model;  
import org.springframework.data.annotation.Id; 
import org.springframework.data.elasticsearch.annotations.Document; 
import org.springframework.data.elasticsearch.annotations.GeoPointField; 
 
import java.io.Serializable; 
 
/** 
 * model類 
 */ 
@Document(indexName="elastic_search_project",type="person",indexStoreType="fs",shards=5,replicas=1,refreshInterval="-1") 
public class Person implements Serializable { 
  @Id 
  private int id; 
 
  private String name; 
 
  private String phone; 
 
  /** 
   * 地理位置經(jīng)緯度 
   * lat緯度，lon經(jīng)度 "40.715,-74.011" 
   * 如果用數(shù)組則相反[-73.983, 40.719] 
   */ 
  @GeoPointField 
  private String address; 
 
  public int getId() { 
    return id; 
  } 
 
  public void setId(int id) { 
    this.id = id; 
  } 
 
  public String getName() { 
    return name; 
  } 
 
  public void setName(String name) { 
    this.name = name; 
  } 
 
  public String getPhone() { 
    return phone; 
  } 
 
  public void setPhone(String phone) { 
    this.phone = phone; 
  } 
 
  public String getAddress() { 
    return address; 
  } 
 
  public void setAddress(String address) { 
    this.address = address; 
  } 
}

我用address字段表示經(jīng)緯度位置。注意，使用String[]和String分別來(lái)表示經(jīng)緯度時(shí)是不同的，見(jiàn)注釋。

import com.tianyalei.elasticsearch.model.Person; 
import org.springframework.data.elasticsearch.repository.ElasticsearchRepository;  
public interface PersonRepository extends ElasticsearchRepository<Person, Integer> { 
 
}

看一下Service類，完成插入測(cè)試數(shù)據(jù)的功能，查詢的功能我放在Controller里了，為了方便查看，正常是應(yīng)該放在Service里

package com.tianyalei.elasticsearch.service;  
import com.tianyalei.elasticsearch.model.Person; 
import com.tianyalei.elasticsearch.repository.PersonRepository; 
import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate; 
import org.springframework.data.elasticsearch.core.query.IndexQuery; 
import org.springframework.stereotype.Service; 
import java.util.ArrayList; 
import java.util.List; 
 
@Service 
public class PersonService { 
  @Autowired 
  PersonRepository personRepository; 
  @Autowired 
  ElasticsearchTemplate elasticsearchTemplate; 
 
  private static final String PERSON_INDEX_NAME = "elastic_search_project"; 
  private static final String PERSON_INDEX_TYPE = "person"; 
 
  public Person add(Person person) { 
    return personRepository.save(person); 
  } 
 
  public void bulkIndex(List<Person> personList) { 
    int counter = 0; 
    try { 
      if (!elasticsearchTemplate.indexExists(PERSON_INDEX_NAME)) { 
        elasticsearchTemplate.createIndex(PERSON_INDEX_TYPE); 
      } 
      List<IndexQuery> queries = new ArrayList<>(); 
      for (Person person : personList) { 
        IndexQuery indexQuery = new IndexQuery(); 
        indexQuery.setId(person.getId() + ""); 
        indexQuery.setObject(person); 
        indexQuery.setIndexName(PERSON_INDEX_NAME); 
        indexQuery.setType(PERSON_INDEX_TYPE); 
 
        //上面的那幾步也可以使用IndexQueryBuilder來(lái)構(gòu)建 
        //IndexQuery index = new IndexQueryBuilder().withId(person.getId() + "").withObject(person).build(); 
 
        queries.add(indexQuery); 
        if (counter % 500 == 0) { 
          elasticsearchTemplate.bulkIndex(queries); 
          queries.clear(); 
          System.out.println("bulkIndex counter : " + counter); 
        } 
        counter++; 
      } 
      if (queries.size() > 0) { 
        elasticsearchTemplate.bulkIndex(queries); 
      } 
      System.out.println("bulkIndex completed."); 
    } catch (Exception e) { 
      System.out.println("IndexerService.bulkIndex e;" + e.getMessage()); 
      throw e; 
    } 
  } 
}

注意看bulkIndex方法，這個(gè)是批量插入數(shù)據(jù)用的，bulk也是ES官方推薦使用的批量插入數(shù)據(jù)的方法。這里是每逢500的整數(shù)倍就bulk插入一次。

package com.tianyalei.elasticsearch.controller;  
import com.tianyalei.elasticsearch.model.Person; 
import com.tianyalei.elasticsearch.service.PersonService; 
import org.elasticsearch.common.unit.DistanceUnit; 
import org.elasticsearch.index.query.GeoDistanceQueryBuilder; 
import org.elasticsearch.index.query.QueryBuilders; 
import org.elasticsearch.search.sort.GeoDistanceSortBuilder; 
import org.elasticsearch.search.sort.SortBuilders; 
import org.elasticsearch.search.sort.SortOrder; 
import org.springframework.beans.factory.annotation.Autowired; 
import org.springframework.data.domain.PageRequest; 
import org.springframework.data.domain.Pageable; 
import org.springframework.data.elasticsearch.core.ElasticsearchTemplate; 
import org.springframework.data.elasticsearch.core.query.NativeSearchQueryBuilder; 
import org.springframework.data.elasticsearch.core.query.SearchQuery; 
import org.springframework.web.bind.annotation.GetMapping; 
import org.springframework.web.bind.annotation.RestController; 
import java.text.DecimalFormat; 
import java.util.ArrayList; 
import java.util.List; 
import java.util.Random; 
 
@RestController 
public class PersonController { 
  @Autowired 
  PersonService personService; 
  @Autowired 
  ElasticsearchTemplate elasticsearchTemplate; 
 
  @GetMapping("/add") 
  public Object add() { 
    double lat = 39.929986; 
    double lon = 116.395645; 
    List<Person> personList = new ArrayList<>(900000); 
    for (int i = 100000; i < 1000000; i++) { 
      double max = 0.00001; 
      double min = 0.000001; 
      Random random = new Random(); 
      double s = random.nextDouble() % (max - min + 1) + max; 
      DecimalFormat df = new DecimalFormat("######0.000000"); 
      // System.out.println(s); 
      String lons = df.format(s + lon); 
      String lats = df.format(s + lat); 
      Double dlon = Double.valueOf(lons); 
      Double dlat = Double.valueOf(lats);  
      Person person = new Person(); 
      person.setId(i); 
      person.setName("名字" + i); 
      person.setPhone("電話" + i); 
      person.setAddress(dlat + "," + dlon); 
      personList.add(person); 
    } 
    personService.bulkIndex(personList); 
 
//    SearchQuery searchQuery = new NativeSearchQueryBuilder().withQuery(QueryBuilders.queryStringQuery("spring boot OR 書籍")).build(); 
//    List<Article> articles = elas、ticsearchTemplate.queryForList(se、archQuery, Article.class); 
//    for (Article article : articles) { 
//      System.out.println(article.toString()); 
//    } 
 
    return "添加數(shù)據(jù)"; 
  } 
 
  /** 
   * 
   geo_distance: 查找距離某個(gè)中心點(diǎn)距離在一定范圍內(nèi)的位置 
   geo_bounding_box: 查找某個(gè)長(zhǎng)方形區(qū)域內(nèi)的位置 
   geo_distance_range: 查找距離某個(gè)中心的距離在min和max之間的位置 
   geo_polygon: 查找位于多邊形內(nèi)的地點(diǎn)。 
   sort可以用來(lái)排序 
   */ 
  @GetMapping("/query") 
  public Object query() { 
    double lat = 39.929986; 
    double lon = 116.395645;  
    Long nowTime = System.currentTimeMillis(); 
    //查詢某經(jīng)緯度100米范圍內(nèi) 
    GeoDistanceQueryBuilder builder = QueryBuilders.geoDistanceQuery("address").point(lat, lon) 
        .distance(100, DistanceUnit.METERS); 
 
    GeoDistanceSortBuilder sortBuilder = SortBuilders.geoDistanceSort("address") 
        .point(lat, lon) 
        .unit(DistanceUnit.METERS) 
        .order(SortOrder.ASC); 
 
    Pageable pageable = new PageRequest(0, 50); 
    NativeSearchQueryBuilder builder1 = new NativeSearchQueryBuilder().withFilter(builder).withSort(sortBuilder).withPageable(pageable); 
    SearchQuery searchQuery = builder1.build();  
    //queryForList默認(rèn)是分頁(yè)，走的是queryForPage，默認(rèn)10個(gè) 
    List<Person> personList = elasticsearchTemplate.queryForList(searchQuery, Person.class);  
    System.out.println("耗時(shí)：" + (System.currentTimeMillis() - nowTime)); 
    return personList; 
  } 
}

看Controller類，在add方法中，我們插入90萬(wàn)條測(cè)試數(shù)據(jù)，隨機(jī)產(chǎn)生不同的經(jīng)緯度地址。

在查詢方法中，我們構(gòu)建了一個(gè)查詢100米范圍內(nèi)、按照距離遠(yuǎn)近排序，分頁(yè)每頁(yè)50條的查詢條件。如果不指明Pageable的話，ESTemplate的queryForList默認(rèn)是10條，通過(guò)源碼可以看到。

啟動(dòng)項(xiàng)目，先執(zhí)行add，等待百萬(wàn)數(shù)據(jù)插入，大概幾十秒。

然后執(zhí)行查詢，看一下結(jié)果。

第一次查詢花費(fèi)300多ms，再次查詢后時(shí)間就大幅下降，到30ms左右，因?yàn)镋S已經(jīng)自動(dòng)緩存到內(nèi)存了。

可見(jiàn)，ES完成地理位置的查詢還是非常快的。適用于查詢附近的人、范圍查詢之類的功能。

后記，在后來(lái)的使用中，Elasticsearch2.3版本時(shí)，按上面的寫法出現(xiàn)了geo類型無(wú)法索引的情況，進(jìn)入es的為String，而不是標(biāo)注的geofiled。在此記錄一下解決方法，將String類型修改為GeoPoint，且是org.springframework.data.elasticsearch.core.geo.GeoPoint包下的。然后需要在創(chuàng)建index時(shí)，顯式調(diào)用一下mapping方法，才能正確的映射為geofield。

如下

if (!elasticsearchTemplate.indexExists("abc")) { 
      elasticsearchTemplate.createIndex("abc"); 
      elasticsearchTemplate.putMapping(Person.class); 
    }

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: