pandas dataframe 中的explode函數(shù)用法詳解
在使用 pandas 進(jìn)行數(shù)據(jù)分析的過(guò)程中，我們常常會(huì)遇到將一行數(shù)據(jù)展開(kāi)成多行的需求，多么希望能有一個(gè)類(lèi)似于 hive sql 中的 explode 函數(shù)。
這個(gè)函數(shù)如下：
Code
# !/usr/bin/env python
# -*- coding:utf-8 -*-
# create on 18/4/13
import pandas as pd
def dataframe_explode(dataframe, fieldname):
temp_fieldname = fieldname + '_made_tuple_'
dataframe[temp_fieldname] = dataframe[fieldname].apply(tuple)
list_of_dataframes = []
for values in dataframe[temp_fieldname].unique().tolist():
list_of_dataframes.append(pd.DataFrame({
temp_fieldname: [values] * len(values),
fieldname: list(values),
}))
dataframe = dataframe[list(set(dataframe.columns) - set([fieldname]))].merge(pd.concat(list_of_dataframes), how='left', on=temp_fieldname)
del dataframe[temp_fieldname]
return dataframe
df = pd.DataFrame({'listcol':[[1,2,3],[4,5,6]], "aa": [222,333]})
df = dataframe_explode(df, "listcol")
Description
將 dataframe 按照某一指定列進(jìn)行展開(kāi)，使得原來(lái)的每一行展開(kāi)成一行或多行。( 注：該列可迭代， 例如list, tuple, set)
補(bǔ)充知識(shí)：Pandas列中的字典/列表拆分為單獨(dú)的列
我就廢話(huà)不多說(shuō)了，大家還是直接看代碼吧
[1] df
Station ID Pollutants
8809 {"a": "46", "b": "3", "c": "12"}
8810 {"a": "36", "b": "5", "c": "8"}
8811 {"b": "2", "c": "7"}
8812 {"c": "11"}
8813 {"a": "82", "c": "15"}
Method 1：
step 1: convert the Pollutants column to Pandas dataframe series
df_pol_ps = data_df['Pollutants'].apply(pd.Series) df_pol_ps: a b c 0 46 3 12 1 36 5 8 2 NaN 2 7 3 NaN NaN 11 4 82 NaN 15
step 2: concat columns a, b, c and drop/remove the Pollutants
df_final = pd.concat([df, df_pol_ps], axis = 1).drop('Pollutants', axis = 1)
df_final:
StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15
Method 2：
df_final = pd.concat([df, df['Pollutants'].apply(pd.Series)], axis = 1).drop('Pollutants', axis = 1)
df_final:
StationID a b c
0 8809 46 3 12
1 8810 36 5 8
2 8811 NaN 2 7
3 8812 NaN NaN 11
4 8813 82 NaN 15
以上這篇pandas dataframe 中的explode函數(shù)用法詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python下10個(gè)簡(jiǎn)單實(shí)例代碼
最近學(xué)python比較順手，找到感覺(jué)了，所以，我想把我用來(lái)練習(xí)的實(shí)例題目分享出來(lái)，有興趣的朋友可以關(guān)注一下。 文章分為10篇，每篇10題，共100道實(shí)例。后續(xù)如果需要可以增加2017-11-11
python中子類(lèi)繼承父類(lèi)的__init__方法實(shí)例
這篇文章主要給大家詳細(xì)介紹了python中子類(lèi)如何繼承父類(lèi)的__init__方法，文中給出了詳細(xì)的示例代碼，相信對(duì)大家的理解和學(xué)習(xí)具有一定參考價(jià)值，有需要的朋友們下面來(lái)跟著小編一起學(xué)習(xí)學(xué)習(xí)吧。2016-12-12
今天主要是給大家推薦一個(gè)叫PDM的工具，全稱(chēng)：Python?Development?Master，它也是非常好用。本文將為大家詳細(xì)講講它的使用，感興趣的可以了解一下2022-08-08
在許多編程語(yǔ)言中,都有內(nèi)置的JSON解析器和生成器,可以方便地處理JSON數(shù)據(jù),本文主要介紹了Python中json文件的讀取實(shí)現(xiàn),具有一定的參考價(jià)值,感興趣的可以了解一下2023-08-08
Python中BaseHTTPRequestHandler實(shí)現(xiàn)簡(jiǎn)單的API接口
本文主要介紹了Python中BaseHTTPRequestHandler實(shí)現(xiàn)簡(jiǎn)單的API接口，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
用pickle存儲(chǔ)Python的原生對(duì)象方法
下面小編就為大家?guī)?lái)一篇用pickle存儲(chǔ)Python的原生對(duì)象方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-04-04
這篇文章主要介紹了Python中的偏函數(shù),示例代碼基于Python2.x版本,需要的朋友可以參考下2015-04-04
python使用paramiko模塊通過(guò)ssh2協(xié)議對(duì)交換機(jī)進(jìn)行配置的方法
今天小編就為大家分享一篇python使用paramiko模塊通過(guò)ssh2協(xié)議對(duì)交換機(jī)進(jìn)行配置的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
這篇文章主要介紹了Python編寫(xiě)屏幕截圖程序方法,本文講解使用開(kāi)源程序pywin32實(shí)現(xiàn)屏幕截圖和讀取剪切板功能,需要的朋友可以參考下2015-02-02
Python PaddlePaddle機(jī)器學(xué)習(xí)之求解線(xiàn)性模型
這篇文章主要介紹了Python PaddlePaddle機(jī)器學(xué)習(xí)之求解線(xiàn)性模型，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定參考價(jià)值，需要的小伙伴可以參考一下2022-08-08