快捷導(dǎo)航

.NET?中實(shí)現(xiàn)?List?集合去重的方法

更新時(shí)間：2026年02月05日 08:50:11 作者：小碼編匠

DistinctBy方法是.NET 6和.NET7中LINQ 的一個(gè)非常實(shí)用的新特性,我們?cè)?nbsp;LINQ 查詢中根據(jù)指定的鍵對(duì)集合進(jìn)行去重,簡(jiǎn)化了代碼并提高了開(kāi)發(fā)效率,本文給大家介紹.NET中快速實(shí)現(xiàn)List集合去重的方法,感興趣的朋友跟隨小編一起看看吧

前言

在數(shù)據(jù)處理中，去除集合中的重復(fù)元素是一個(gè)常見(jiàn)的需求。.NET 6 和 .NET 7 引入了 DistinctBy 方法，這是一個(gè)非常實(shí)用的新特性，可以方便地根據(jù)指定的鍵對(duì)集合進(jìn)行去重。

本文將詳細(xì)介紹 DistinctBy 方法的使用，并通過(guò)具體的案例來(lái)展示其在實(shí)際開(kāi)發(fā)中的應(yīng)用。

正文

1、DistinctBy 方法

DistinctBy 方法允許我們?cè)?LINQ 查詢中根據(jù)某個(gè)鍵對(duì)集合中的元素進(jìn)行去重。

這個(gè)方法返回一個(gè)新的集合，其中只包含根據(jù)指定鍵唯一確定的元素。

方法簽名

public static IEnumerable<TSource> DistinctBy<TSource, TKey>(
    this IEnumerable<TSource> source,
    Func<TSource, TKey> keySelector
);

2、基本用法

最簡(jiǎn)單的用法是在 LINQ 查詢中直接調(diào)用 DistinctBy 方法，然后處理去重后的集合。

說(shuō)明

假設(shè)我們有一個(gè)用戶列表，我們想要根據(jù)用戶名去除重復(fù)的用戶。

using System.Linq;
class User
{
    public string Name { get; set; }
    public int Age { get; set; }
}
var users = new List<User>
{
    new User { Name = "Alice", Age = 25 },
    new User { Name = "Bob", Age = 32 },
    new User { Name = "Alice", Age = 28 },
    new User { Name = "David", Age = 35 }
};
var distinctUsers = users.DistinctBy(user => user.Name);
foreach (var user in distinctUsers)
{
    Console.WriteLine($"Name: {user.Name}, Age: {user.Age}");
}

輸出結(jié)果：

Name: Alice, Age: 25
Name: Bob, Age: 32
Name: David, Age: 35

過(guò)濾前后元素還是保持原有的順序，我們可以查看源碼。

源碼

private static IEnumerable<TSource> DistinctByIterator<TSource, TKey>(IEnumerable<TSource> source, Func<TSource, TKey> keySelector, IEqualityComparer<TKey>? comparer)
{
    using IEnumerator<TSource> enumerator = source.GetEnumerator();
?
    if (enumerator.MoveNext())
    {
        var set = new HashSet<TKey>(DefaultInternalSetCapacity, comparer);
        do
        {
            TSource element = enumerator.Current;
            if (set.Add(keySelector(element)))
            {
                yield return element;
            }
        }
        while (enumerator.MoveNext());
    }
}

通過(guò)查看源碼，可以看到是利用了 HashSet 去重，元素順序并未被打亂。

在處理集合時(shí)，我們經(jīng)常需要去除重復(fù)的元素，同時(shí)保持原有的順序。

使用 HashSet 可以高效地實(shí)現(xiàn)這一目標(biāo)。

首先將指定的鍵嘗試添加到 HashSet 中，如果添加成功，說(shuō)明該鍵沒(méi)有重復(fù)；

如果添加失敗，說(shuō)明已經(jīng)存在相同的鍵，此元素將被過(guò)濾掉。

3、復(fù)雜用法

DistinctBy 方法可以用于更復(fù)雜的去重邏輯，例如根據(jù)多個(gè)屬性進(jìn)行去重。

說(shuō)明

假設(shè)我們有一個(gè)訂單列表，我們想要根據(jù)客戶名稱和訂單金額去除重復(fù)的訂單。

class Order
{
    public int OrderId { get; set; }
    public string CustomerName { get; set; }
    public decimal Amount { get; set; }
}
var orders = new List<Order>
{
    new Order { OrderId = 1, CustomerName = "Alice", Amount = 100.0m },
    new Order { OrderId = 2, CustomerName = "Bob", Amount = 150.0m },
    new Order { OrderId = 3, CustomerName = "Alice", Amount = 100.0m },
    new Order { OrderId = 4, CustomerName = "Charlie", Amount = 120.0m },
    new Order { OrderId = 5, CustomerName = "Bob", Amount = 150.0m }
};
var distinctOrders = orders.DistinctBy(order => (order.CustomerName, order.Amount));
?
foreach (var order in distinctOrders)
{
    Console.WriteLine($"Order ID: {order.OrderId}, Customer: {order.CustomerName}, Amount: {order.Amount}");
}

輸出結(jié)果：

Order ID: 1, Customer: Alice, Amount: 100.0
Order ID: 2, Customer: Bob, Amount: 150.0
Order ID: 4, Customer: Charlie, Amount: 120.0

4、性能考慮

DistinctBy 方法在內(nèi)部使用哈希表來(lái)跟蹤已經(jīng)出現(xiàn)的鍵，因此在大多數(shù)情況下性能非常好。但在處理非常大的數(shù)據(jù)集時(shí)，仍然需要注意內(nèi)存使用情況。

說(shuō)明

假設(shè)我們有一個(gè)包含數(shù)百萬(wàn)條記錄的大集合，我們需要根據(jù)某個(gè)鍵進(jìn)行去重。

var largeCollection = Enumerable.Range(1, 10000000).Select(i => new { Id = i, Value = i % 1000 });
var distinctLargeCollection = largeCollection.DistinctBy(item => item.Value);
Console.WriteLine($"Distinct count: {distinctLargeCollection.Count()}");

5、異步 LINQ 查詢中的使用

DistinctBy 方法也可以在異步 LINQ 查詢中使用，結(jié)合 IAsyncEnumerable<T> 類(lèi)型，處理大量數(shù)據(jù)時(shí)更加高效。

說(shuō)明

假設(shè)我們有一個(gè)異步方法返回一個(gè)用戶列表，我們想要根據(jù)用戶名去除重復(fù)的用戶。

using System.Net.Http.Json
public async IAsyncEnumerable<User> GetUsersAsync()
{
    var response = await httpClient.GetAsync("https://api.example.com/users");
    var usersJson = await response.Content.ReadAsStringAsync();
    // 使用Json序列化工具解析用戶列表
    var users = JsonSerializer.Deserialize<List<User>>(usersJson);
    foreach (var user in users)
    {
        yield return user;
    }
}
// 使用異步LINQ查詢
var distinctUsers = await GetUsersAsync().DistinctByAsync(user => user.Name).ToListAsync();
?
foreach (var user in distinctUsers)
{
    Console.WriteLine($"Name: {user.Name}, Age: {user.Age}");
}