python多維數(shù)組分位數(shù)的求取方式
在python中計算一個多維數(shù)組的任意百分比分位數(shù)，只需用np.percentile即可，十分方便
import numpy as np a = [154, 400, 1124, 82, 94, 108] print np.percentile(a,95) # gives the 95th percentile
補充拓展：如何解決hive同時計算多個分位數(shù)的問題
眾所周知，原生hive沒有計算中位數(shù)的函數(shù)(有的平臺會有)，只有計算分位數(shù)的函數(shù)percentile
在數(shù)據(jù)量不大的時候，速度尚可。但是數(shù)據(jù)量一上來之后，完全計算不出來。
那么如何解決這個問題呢，我們可以使用 row_number() over()通過兩次排序來解決同時計算多個分位數(shù)，速度飛快。
比如我們需要計算mkt_mcc_storeidx表下以mkt_label,mccgroup,month分組，value_mccgroup的分位數(shù)
第一步：利用row_number() over()給value_mccgroup在分組里排序，記錄下排名
第二步：計算mkt_label,mccgroup,month分組下的數(shù)據(jù)總數(shù)
第三步：join前兩步的結(jié)果，取rank=你需要計算的分位數(shù)位置，想計算多少個分位數(shù)就計算多少個
第四步：再排一次序，這次數(shù)據(jù)量就已經(jīng)少了很多了，畢竟每組里面只有幾個數(shù)據(jù)，記錄排名
第五步：得到具體的分位數(shù)
第六步：行轉(zhuǎn)成列，所有分位數(shù)計算完畢
后來查看了下SQL代碼的執(zhí)行樹，發(fā)現(xiàn)percentile利用了map來存數(shù)據(jù)，怪不得這么耗內(nèi)存，其實時間久并不是算的時間久，是因為內(nèi)存不夠了，系統(tǒng)一直在回收內(nèi)存
而rank over 僅僅就是個排序而已
以上這篇python多維數(shù)組分位數(shù)的求取方式就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python使用pygame模塊編寫俄羅斯方塊游戲的代碼實例
這篇文章主要介紹了Python使用pygame模塊編寫俄羅斯方塊游戲的代碼實例,最基本的方塊變換和行消除等功能都在代碼中一一體現(xiàn),需要的朋友可以參考下2015-12-12
這篇文章主要介紹了Python選擇性拷貝操作,結(jié)合具體實例形式分析了Python文件遍歷、查找、復制拷貝等相關操作技巧,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了Python對兩個有序列表進行合并和排序的例子,最終代碼經(jīng)過不斷優(yōu)化,小編非常滿意,需要的朋友可以參考下2014-06-06
這篇文章主要介紹了Python datatime庫語法使用詳解，datetime模塊用于是date和time模塊的合集，文章圍繞相關資料展開詳情，感興趣的小伙伴可以擦參考一下2022-07-07
這篇文章主要介紹了python3檢查字典傳入函數(shù)鍵是否齊全的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要介紹了pycharm中l(wèi)eetcode插件使用圖文詳解,本文分步驟給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-12-12
python寫入已存在的excel數(shù)據(jù)實例
下面小編就為大家分享一篇python寫入已存在的excel數(shù)據(jù)實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
一直以來，中國象棋都是中華民族的一種象征，當然也是人們最為喜感的一種娛樂方式。這篇文章主要介紹了如何基于Python實現(xiàn)有趣的象棋游戲，感興趣的可以了解一下2023-03-03
拓撲排序是對有向無環(huán)圖的一種排序，發(fā)現(xiàn)自己并沒有真的理解拓撲排序，再次學習了下，所以下面這篇文章主要給大家介紹了關于python實現(xiàn)拓撲排序的基本教程，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考下，2018-03-03
這篇文章主要為大家介紹了Python語法概念基礎，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-01-01