python列表去重的5種常見方法實例

更新時間：2022年06月14日 15:38:54 作者：一位代碼

在Python編程過程中經(jīng)常會遇到列表去重的問題,下面這篇文章主要給大家介紹了python列表去重的5種常見方法,文中通過實例代碼介紹的非常詳細,需要的朋友可以參考下

前言
一、使用for循環(huán)實現(xiàn)列表去重
二、使用列表推導式去重
三、使用集合轉(zhuǎn)換函數(shù)set()實現(xiàn)列表去重
四、使用新建字典方式實現(xiàn)列表去重
五、刪除列表中存在重復的數(shù)據(jù)
附：Python 二維數(shù)組元素去重 np.unique()函數(shù)的使用
總結(jié)

前言

列表去重在python實際運用中，十分常見，也是最基礎(chǔ)的重點知識。

以下總結(jié)了5種常見的列表去重方法

一、使用for循環(huán)實現(xiàn)列表去重

此方法去重后，原順序保持不變。

# for循環(huán)實現(xiàn)列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = []
for l1 in list1:
    if l1 not in list2:
        list2.append(l1)
print(list2)

結(jié)果：[‘a’, ‘b’, 1, 3, 9]

二、使用列表推導式去重

此方法去重后，原順序保持不變。

# 使用列表推導式去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
res = []
[res.append(i) for i in list1 if i not in res]
print(res)

結(jié)果：[‘a’, ‘b’, 1, 3, 9]

三、使用集合轉(zhuǎn)換函數(shù)set()實現(xiàn)列表去重

原理：同一個集合的元素之間是不允許重復的

# set()列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
print(list2)

結(jié)果：[1, 3, 9, ‘b’, ‘a’]

問題：使用set()函數(shù)去重后，會自動排序，則原列表的順序會發(fā)生改變

解決辦法有2種：

第一種方法，使用sort()方法

# # 第一種方法，sort()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = list(set(list1))
list2.sort(key=list1.index)
print(list2)

結(jié)果：[‘a’, ‘b’, 1, 3, 9]

注：sort()方法沒有返回值，對列表元素進行原地排序

第二種方法，使用sorted()函數(shù)

# 第二種方法，sored()
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = sorted(list(set(list1)), key=list1.index)
print(list2)

結(jié)果：[‘a’, ‘b’, 1, 3, 9]

注：python內(nèi)置函數(shù)sorted()函數(shù)返回新的列表，并不對原列表做任何修改

四、使用新建字典方式實現(xiàn)列表去重

原理：字典的"鍵"是不允許重復的

此方法去重后，原來順序保持不變。

# 使用新建字典實現(xiàn)列表去重
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
dic = {}
dic = dic.fromkeys(list1).keys()
print(list(dic))

結(jié)果：[‘a’, ‘b’, 1, 3, 9]

五、刪除列表中存在重復的數(shù)據(jù)

上面的4種去重方法，都是保留一個，刪除其他

下面這種方法則是，只要存在重復，一個都不保留

# 刪除存在重復的值，不保留
list1 = ['a', 'b', 1, 3, 9, 9, 'a']
list2 = [i for i in list1 if list1.count(i) == 1]
print(list2)

結(jié)果：[‘b’, 1, 3]

以上就是關(guān)于列表去重的5種方法，可以根據(jù)需求選擇對應(yīng)的方法。

附：Python 二維數(shù)組元素去重 np.unique()函數(shù)的使用

### 4.2 元素去重
# 4.2.1 一維數(shù)組去重
a = np.array([1, 2, 3, 4, 5, 5, 7, 3, 2, 2, 8, 8])
print('去重前：', a)
b = np.unique(a)
print('去重后：', b)
# 4.2.2 二維數(shù)組去重
c = np.array(((1, 2), (3, 4), (5, 6), (1, 3), (3, 4), (7, 6)))
print('去重前：', c)
# 方法一：利用set,set是無序不重復集合(推薦)
s = set() #創(chuàng)建空集合
for t in c:
    s.add(tuple(t)) #將數(shù)組轉(zhuǎn)為元祖tuple，保證不被修改；再把元祖加入到集合中，完成去重
g = np.array(list(s)) # 將集合轉(zhuǎn)換為列表，最后轉(zhuǎn)為二維數(shù)組
print('去重后：', g)
# 合起來寫
print('方法一去重后：', np.array(list(set(tuple(t) for t in c))))
# 方法二：轉(zhuǎn)換為虛數(shù)
r, i = np.split(c, (1, ), axis=1)
print(r)
print(i)
x = r + i * 1j
# x = c[:, 0] + c[:, 1] * 1j
print('轉(zhuǎn)換成虛數(shù)：', x) # 變成一維數(shù)組，可使用np.unique()
print('虛數(shù)去重后：', np.unique(x))
print(np.unique(x, return_index=True, return_counts=True))
# return_index=True表示返回另一個參數(shù)，這個參數(shù)也是一個數(shù)組，
# array([0, 3, 1, 2, 5]表示去重后的每個元素在去重前的數(shù)組中的位置/下標
# return_counts=True表示返回各元素出現(xiàn)的頻次
idx = np.unique(x, return_index=True)[1]
# 第[1]列的數(shù)組正是return_index=True返回的內(nèi)容：在c中的位置/下標
print('二維數(shù)組去重：\n', c[idx]) #提取這些下標所在的元素
# 結(jié)果：
# 去重前： [1 2 3 4 5 5 7 3 2 2 8 8]
# 去重后： [1 2 3 4 5 7 8]
# 去重前： [[1 2]
#  [3 4]
#  [5 6]
#  [1 3]
#  [3 4]
#  [7 6]]
# 去重后： [[1 2]
#  [1 3]
#  [5 6]
#  [7 6]
#  [3 4]]
# 方法一去重后： [[1 2]
#  [1 3]
#  [5 6]
#  [7 6]
#  [3 4]]
# [[1]
#  [3]
#  [5]
#  [1]
#  [3]
#  [7]]
# [[2]
#  [4]
#  [6]
#  [3]
#  [4]
#  [6]]
# 轉(zhuǎn)換成虛數(shù)： [[1.+2.j]
#  [3.+4.j]
#  [5.+6.j]
#  [1.+3.j]
#  [3.+4.j]
#  [7.+6.j]]
# 虛數(shù)去重后： [1.+2.j 1.+3.j 3.+4.j 5.+6.j 7.+6.j]
# (array([1.+2.j, 1.+3.j, 3.+4.j, 5.+6.j, 7.+6.j]), array([0, 3, 1, 2, 5], dtype=int64), array([1, 1, 2, 1, 1], dtype=int64))
# 二維數(shù)組去重：
#  [[1 2]
#  [1 3]
#  [3 4]
#  [5 6]
#  [7 6]]