探索python?dask靈活的并行計算庫應用場景示例
引言
今天給大家分享一個超強的 python 庫，dask
Dask 的特點
動態(tài)任務調(diào)度：Dask 能夠智能地安排復雜的計算任務，優(yōu)化資源利用率。
兼容性：Dask 提供了與這些庫相似的 API，允許用戶輕松遷移到更大規(guī)模的數(shù)據(jù)處理上。
延遲計算：Dask 允許構(gòu)建一個任務圖，其中計算是延遲執(zhí)行的，直到需要其結(jié)果時才真正觸發(fā)計算。
透明地擴展到分布式計算：Dask 可以在單機上以多線程或多進程的方式運行，也可以擴展到多機的分布式集群。
庫的安裝
我們可以直接使用 pip 來進行安裝。
pip install dask
或者使用 conda 來安裝。
conda install dask
數(shù)據(jù)集生成
我們將創(chuàng)建一個包含六列的虛擬數(shù)據(jù)集。
第一列是時間戳—以秒的間隔采樣的二年，其他五列是隨機整數(shù)值。
import numpy as np
import pandas as pd
import dask.dataframe as dd
from datetime import datetime
dates = pd.date_range(
start=datetime(year=2022, month=1, day=1),
end=datetime(year=2023, month=12, day=31),
freq='s'
)
df = pd.DataFrame()
df['Date'] = dates
for i in range(5):
df[f'X{i}'] = np.random.randint(low=0, high=100, size=len(df))
df.to_csv(f'2022.csv', index=False)性能對比
首先，讓我們使用 pandas 來運行 groupby 計算并建立性能基線。
%%timeit
df.groupby("X0").agg({"X4": "sum"})
可以看到使用 pandas 進行 groupby 操作，需要耗費 831 ms
讓我們使用 Dask 運行相同的 groupby 查詢。
import dask.dataframe as dd
ddf = dd.read_csv('2022.csv')%%timeit
ddf.groupby("X0").agg({"X4": "sum"})對于同樣的操作，使用 dask 只需要 4 ms ，性能有了顯著的提升。
這是因為 pandas 僅使用 1 個 CPU 核心來運行查詢。而 Dask 使用所有核心來運行計算。
以上就是探索python dask靈活的并行計算庫應用場景示例的詳細內(nèi)容，更多關(guān)于python dask并行計算庫的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
在 PO 模式中抽離封裝集成一個BasePage 類，該基類應該擁有一個只實現(xiàn) webdriver 實例的屬性，通常情況下PO 模型可以大大提高測試用例的維護效率2021-06-06
這篇文章主要為大家詳細介紹了python視頻按幀截取圖片工具，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-07-07
python實現(xiàn)TCPserver是一件簡單的事情,只要通過socket這個模塊就可以實現(xiàn),本文就來介紹一下python實現(xiàn)TCPserver的使用示例,感興趣的可以了解一下2023-10-10
這篇文章主要介紹了python正則表達式中的括號匹配問題,需要的朋友可以參考下2014-12-12
本文主要介紹了Python自動發(fā)郵件腳本的相關(guān)知識。具有很好的參考價值，下面跟著小編一起來看下吧2017-03-03
Python logging模塊異步線程寫日志實現(xiàn)過程解析
這篇文章主要介紹了Python logging模塊異步線程寫日志實現(xiàn)過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-06-06
實例講解Python中SocketServer模塊處理網(wǎng)絡請求的用法
SocketServer模塊中帶有很多實現(xiàn)服務器所能夠用到的socket類和操作方法,下面我們就來以實例講解Python中SocketServer模塊處理網(wǎng)絡請求的用法:2016-06-06
這篇文章主要介紹了如何通過python計算圓周率PI,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-11-11
這篇文章主要介紹了Python簡單刪除目錄下文件以及文件夾的方法,涉及Python使用shutil模塊操作文件的相關(guān)技巧,需要的朋友可以參考下2015-05-05
使用Python構(gòu)造hive insert語句說明
這篇文章主要介紹了使用Python構(gòu)造hive insert語句說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06