快捷導(dǎo)航

Rust?duckdb和polars讀csv文件比較情況

更新時(shí)間：2024年06月27日 09:59:00 作者：songroom

duckdb在數(shù)據(jù)分析上,有非常多不錯(cuò)的特質(zhì),1、快；2、客戶體驗(yàn)好,特別是可以同時(shí)批量讀csv在一個(gè)目錄下的csv等文件,今天來(lái)比較下Rust?duckdb和polars讀csv文件比較的情況,感興趣的朋友一起看看吧

duckdb在數(shù)據(jù)分析上，有非常多不錯(cuò)的特質(zhì)。1、快；2、客戶體驗(yàn)好，特別是可以同時(shí)批量讀csv（在一個(gè)目錄下的csv等文件）。polars的性能比pandas有非常多的超越。但背后的一些基于arrow的技術(shù)棧有很多相同之類。今天想比較一下兩者在csv數(shù)據(jù)讀寫的情況。

一、文件準(zhǔn)備

csv樣本內(nèi)容，是N行9列的csv標(biāo)準(zhǔn)格式，有字符串，有浮點(diǎn)數(shù)，有整型。具體如下：

在這里插入圖片描述

本次準(zhǔn)備了兩個(gè)csv文件，一個(gè)大約是2.1萬(wàn)行、9列；一個(gè)是64萬(wàn)行、9列；模式完全一樣。更大的類似百萬(wàn)行或千萬(wàn)行的數(shù)據(jù)目前暫不比較。這種數(shù)據(jù)量級(jí)較少。

二、toml文件

[package]
name = "my_duckdb"
version = "0.1.0"
edition = "2021"
# See more keys and their definitions at https://doc.rust-lang.org/cargo/reference/manifest.html
[dependencies]
duckdb = { version = "0.10.2", features = ["bundled"] }
polars = {version ="0.39.0"}

三、main.rs

use duckdb::{
    arrow::{record_batch::RecordBatch, util::pretty::print_batches},
    Connection, Result,
};
use polars::prelude::*;
use std::time::Instant;
fn main() {
    let time0 = Instant::now();
    //test.csv:2w行；test2.csv:64w行
    let csvs = ["test.csv","test2.csv"]; 
    for csv in csvs{
        println!("-----------{:?}-------------",csv);
        duckdb_read_csv(csv).unwrap();
        polars_read_csv(csv);
        println!("-----------{:?}-------------",csv);
    }
    println!("duckdb和polars讀文件共花:{:?}秒！",time0.elapsed().as_secs_f32());
}
fn duckdb_read_csv(filepath:&str) ->Result<()> {
    let duckdb_csv_time = Instant::now();
    let db = Connection::open_in_memory()?;
    let sql_format = format!("SELECT * from read_csv('{}');",filepath);
    let rbs: Vec<RecordBatch> = db
        .prepare(&sql_format)?
        .query_arrow([])?
        .collect();
    // 批量打印
    //print_batches(&rbs).unwrap();
    assert!(rbs.len()>0);
    println!("duckdb取出的行數(shù)：{:?} 列數(shù):{:?}",rbs[0].num_rows(),rbs[0].num_columns());
    println!("duckdb 讀csv花時(shí)： {:?} 秒！", duckdb_csv_time.elapsed().as_secs_f32());
    let _ = db.close();
    Ok(())
}
fn polars_read_csv(filepath:&str){
    let polars_csv_time  = Instant::now();
    let df = CsvReader::from_path(filepath)
    .unwrap()
    .has_header(true)
    .finish()
    .unwrap();
    println!("polars讀出csv的行和列數(shù)：{:?}",df.shape());
    println!("polars 讀csv 花時(shí)： {:?} 秒！", polars_csv_time.elapsed().as_secs_f32());
}

四、輸出

-----------"test.csv"-------------
duckdb取出的行數(shù)：2048 列數(shù):9
duckdb 讀csv花時(shí)： 0.032244585 秒！
polars讀出csv的行和列數(shù)：(21357, 9)
polars 讀csv 花時(shí)： 0.006511025 秒！
-----------"test.csv"-------------
-----------"test2.csv"-------------
duckdb取出的行數(shù)：2048 列數(shù):9
duckdb 讀csv花時(shí)： 0.1279175 秒！
polars讀出csv的行和列數(shù)：(640710, 9)
polars 讀csv 花時(shí)： 0.02369589 秒！
-----------"test2.csv"-------------
duckdb和polars讀文件共花:0.19441628秒！

結(jié)論：從上面的樣本來(lái)看，分別用duckdb和polars來(lái)讀csv兩個(gè)不同大小的文件，polars有優(yōu)勢(shì)。當(dāng)然，也可能是duckdb庫(kù)封裝的問(wèn)題，也可能是文件大小不同，測(cè)試代表性還不全。謹(jǐn)供參考！