快捷導(dǎo)航

Java?Stream去重常見(jiàn)的多種方法及示例

更新時(shí)間：2025年04月12日 10:59:42 作者：碼農(nóng)界趙子龍

這篇文章主要介紹了Java?Stream中實(shí)現(xiàn)去重的多種方法,包括使用distinct()、Collectors.toMap、filter和groupingBy等,詳細(xì)說(shuō)明了每種方法的應(yīng)用場(chǎng)景和示例代碼,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下

1. 使用 distinct() 方法

適用于對(duì)象已正確實(shí)現(xiàn) equals() 和 hashCode()，基于對(duì)象整體去重并保留順序：

List<Person> uniquePersons = persons.stream()
                                    .distinct()
                                    .collect(Collectors.toList());

2. 根據(jù)對(duì)象的屬性去重

方法一：使用 Collectors.toMap

根據(jù)屬性作為鍵，保留第一個(gè)或最后一個(gè)元素，支持順序（使用 LinkedHashMap）：

// 保留第一個(gè)出現(xiàn)的元素
List<Person> uniqueByName = persons.stream()
    .collect(Collectors.toMap(
        Person::getName,
        Function.identity(),
        (oldP, newP) -> oldP, // 保留舊值（第一個(gè)）
        LinkedHashMap::new    // 保持插入順序
    ))
    .values().stream()
    .collect(Collectors.toList());

// 保留最后一個(gè)出現(xiàn)的元素
List<Person> uniqueByNameLast = persons.stream()
    .collect(Collectors.toMap(
        Person::getName,
        Function.identity(),
        (oldP, newP) -> newP  // 保留新值（最后一個(gè)）
    ))
    .values().stream()
    .collect(Collectors.toList());

方法二：使用 filter 和線程安全的 Set

適用于并行流，但可能不保留順序：

// 并行流去重（不保證順序）
Set<String> seen = ConcurrentHashMap.newKeySet();
List<Person> uniqueByName = persons.parallelStream()
    .filter(p -> seen.add(p.getName()))
    .collect(Collectors.toList());

// 順序流去重（保留順序）
Set<String> seenOrdered = new HashSet<>();
List<Person> uniqueByNameOrdered = persons.stream()
    .filter(p -> seenOrdered.add(p.getName()))
    .collect(Collectors.toList());

方法三：使用 groupingBy

分組后取每組的第一個(gè)元素，保持順序：

List<Person> uniqueByName = persons.stream()
    .collect(Collectors.groupingBy(
        Person::getName,
        LinkedHashMap::new,    // 保持插入順序
        Collectors.toList()
    ))
    .values().stream()
    .map(group -> group.get(0)) // 取第一個(gè)元素
    .collect(Collectors.toList());

3. 根據(jù)字符串長(zhǎng)度去重示例

List<String> words = Arrays.asList("apple", "banana", "orange", "grape", "kiwi");
List<String> uniqueByLength = words.stream()
    .collect(Collectors.toMap(
        String::length,
        Function.identity(),
        (oldVal, newVal) -> oldVal,
        LinkedHashMap::new
    ))
    .values().stream()
    .collect(Collectors.toList());
// 結(jié)果: ["apple", "banana", "kiwi"]（保留順序）

4. 自定義去重借助Filter 實(shí)現(xiàn):

自定義一個(gè) Predicate 函數(shù)，用一個(gè) Set 來(lái)記錄已經(jīng)出現(xiàn)過(guò)的元素，然后過(guò)濾掉重復(fù)的元素。

//定義一個(gè)Predicate函數(shù)
private static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> sets = ConcurrentHashMap.newKeySet();
    return t -> sets.add(keyExtractor.apply(t));
}

//根據(jù)age屬性去重
list.stream().filter(distinctByKey(s -> s.getAge()))
        .forEach(System.out::println);

附：java中使用stream流根據(jù)對(duì)象中的某一字段進(jìn)行去重

在開(kāi)發(fā)中經(jīng)常會(huì)遇到數(shù)據(jù)去重的，單個(gè)基本類型的集合去重比較容易，比如String、Integer，直接使用流中的distinct方法去重即可。但是遇到對(duì)象集合，需要使用對(duì)象中的某個(gè)字段去重就不能使用這個(gè)方法了?？梢栽诹魇骄幊讨屑尤隩reeSet，TreeSet是一個(gè)有序且不重復(fù)的有序集合。以用戶User數(shù)據(jù)位列：

List<User> list = userService.list();
        list.stream().collect(Collectors.collectingAndThen(Collectors.toCollection(() -> new TreeSet<>(Comparator.comparing( f -> f.getDeptName()+":"+f.getStatus()))),ArrayList::new));

這里是根據(jù)用戶的部門以及用戶的狀態(tài)進(jìn)行數(shù)據(jù)去重，將用戶的部門以及狀態(tài)拼接位一個(gè)字符串進(jìn)行去重，這樣stream內(nèi)部會(huì)將整個(gè)user集合數(shù)據(jù)組裝成這樣進(jìn)行整體去重，這樣去重下來(lái)的數(shù)據(jù)就是，每一個(gè)部門中只會(huì)存在一個(gè)狀態(tài)的部門人員數(shù)據(jù)，這里是舉個(gè)例子，在實(shí)際環(huán)境中，你可以將User換成自己想要去重的實(shí)體集合。