解決使用pandas聚類時(shí)的小坑

更新時(shí)間：2021年04月07日 09:30:45 作者：填坑小霸王

這篇文章主要介紹了解決使用pandas聚類時(shí)的小坑，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧

問題背景：

之前運(yùn)行測(cè)試好好的程序，忽然出現(xiàn)了報(bào)錯(cuò)，還是merge時(shí)候的類型錯(cuò)誤，這個(gè)bug有點(diǎn)蹊蹺。

問題分析：

代碼：進(jìn)行聚類之后計(jì)算平均值與方差

tmp_df = df[['object1', 'float']].groupby(['object1']).head(20).groupby(['object1'])['float'].agg(['mean', 'sum']).reset_index()

這個(gè)輸出的就是原本的數(shù)據(jù)類型：一個(gè)object，一個(gè)float64

tmp_df = http_df[['object1', 'object2', 'float']].groupby(['object1', 'object2']).head(20).groupby(['object1', 'object2'])['float'].agg(['mean']).reset_index()

這個(gè)輸出就會(huì)修改object為float，

差別只在于一個(gè)是使用一個(gè)特征進(jìn)行聚類，一個(gè)是使用兩個(gè)特征進(jìn)行聚類

問題原因（個(gè)人猜測(cè)，僅供參考）：

pandas進(jìn)行聚類的時(shí)候，就算之前已經(jīng)定好各個(gè)列的類型，如果里邊沒有數(shù)據(jù)的時(shí)候，使用一列進(jìn)行聚類不會(huì)修改列的類型，但是如果同時(shí)使用兩列進(jìn)行聚類就會(huì)修改列的類型。

所以才會(huì)出現(xiàn)后面進(jìn)行merge時(shí)候，類型不同報(bào)錯(cuò)

有數(shù)據(jù)輸入的時(shí)候這個(gè)報(bào)錯(cuò)不會(huì)發(fā)生，沒有數(shù)據(jù)的時(shí)候就會(huì)發(fā)生。

補(bǔ)充：python數(shù)據(jù)處理--按照數(shù)據(jù)差值大小進(jìn)行聚類（歸類）

近來在做數(shù)據(jù)處理的工作中，遇到了數(shù)據(jù)分類的問題，利用python的各種方便庫，寫了這么個(gè)以數(shù)據(jù)差值大小進(jìn)行歸類的方法。

應(yīng)用場(chǎng)景：

有一批數(shù)據(jù)集，如list=[1,2,3,4,9,10,11,20,20,1,1.1,2.1,100]，將其按照數(shù)值大小進(jìn)行歸類，即數(shù)值比較接近的歸為一類，故需要先設(shè)置一個(gè)閾值，以進(jìn)行劃分。

具體實(shí)現(xiàn)如下：

其中輸入?yún)?shù)Data_set為輸入的數(shù)據(jù)集，可以為列表、數(shù)組、Series、DataFrame。threshold為數(shù)據(jù)大小分類的門限值。

輸出class_k為數(shù)據(jù)歸類列表集合，index_list為數(shù)據(jù)歸類對(duì)應(yīng)的索引集合。

def threshold_cluster(Data_set,threshold):
 #統(tǒng)一格式化數(shù)據(jù)為一維數(shù)組
 stand_array=np.asarray(Data_set).ravel('C')
 stand_Data=Series(stand_array)
 index_list,class_k=[],[]
 while stand_Data.any():
  if len(stand_Data)==1:
   index_list.append(list(stand_Data.index))
   class_k.append(list(stand_Data))
   stand_Data=stand_Data.drop(stand_Data.index)
  else:
   class_data_index=stand_Data.index[0]
   class_data=stand_Data[class_data_index]
   stand_Data=stand_Data.drop(class_data_index)
   if (abs(stand_Data-class_data)<=threshold).any():
    args_data=stand_Data[abs(stand_Data-class_data)<=threshold]
    stand_Data=stand_Data.drop(args_data.index)
    index_list.append([class_data_index]+list(args_data.index))
    class_k.append([class_data]+list(args_data))
   else:
    index_list.append([class_data_index])
    class_k.append([class_data])
 return index_list,class_k

測(cè)試如下：

import numpy as np 
from pandas import Series,DataFrame 
Data_set=[1,1.1,0.9,-5,2,100,99,-4.2,10000,0] 
index_list,class_k=threshold_cluster(Data_set,5) 
index_list
Out[10]: [[0, 1, 2, 4, 9], [3, 7], [5, 6], [8]] 
class_k
Out[11]: [[1.0, 1.1, 0.9, 2.0, 0.0], [-5.0, -4.2], [100.0, 99.0], [10000.0]]

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。

您可能感興趣的文章: