最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Java實現(xiàn)http請求文件流對帶寬限速獲取md5值

 更新時間:2025年02月28日 09:45:14   作者:曲奇hmb  
文章介紹了如何在進(jìn)行HTTP請求下載大數(shù)據(jù)時處理帶寬限制和并發(fā)問題,通過使用緩沖區(qū)和限速邏輯,可以有效控制下載速度,避免掉包和數(shù)據(jù)丟失,核心公式基于帶寬和已下載字節(jié)數(shù)計算預(yù)期耗時,并通過Thread.sleep()進(jìn)行動態(tài)休眠補(bǔ)償,感興趣的朋友一起看看吧

場景:

當(dāng)進(jìn)行http請求獲取大數(shù)據(jù)的情況,例如下載視頻圖片的情況,特別是云服務(wù)器會有帶寬限制,超出帶寬會出現(xiàn)掉包丟數(shù)據(jù)的情況,例如:云服務(wù)器限制25m/s的速度,當(dāng)一個視頻下載超過25m/s的速度的時候就會導(dǎo)致掉包,除了限速還需要注意下并發(fā)問題,多個線程同時下載也會超出帶寬限制,可實現(xiàn)該代碼并設(shè)置單獨的線程池,控制同時并發(fā)的線程數(shù)來解決帶寬問題.

邏輯:

我們可以使用一個緩沖區(qū),每次從輸入流讀取數(shù)據(jù)后,先將寫入文件的同時更新MD5,這樣更高效,因為只需要處理一次數(shù)據(jù)。這樣就不會增加額外的讀取次數(shù),避免影響性能。然后,帶寬限流的邏輯需要確保在限流的同時處理這兩個操作。每次讀取數(shù)據(jù)塊后,會計算總字節(jié)數(shù)和時間,判斷是否需要暫停(使用Thread.sleep())。計算MD5的消耗應(yīng)該相對較小,主要的時間還是在網(wǎng)絡(luò)讀取和文件寫入上。

1. 核心公式

限速邏輯基于以下公式實現(xiàn):

預(yù)期耗時(ms)=已下載總字節(jié)數(shù)×1000最大允許帶寬(B/s)預(yù)期耗時(ms)=最大允許帶寬(B/s)已下載總字節(jié)數(shù)×1000?

其中 MAX_BPS = NMB/s = N × 1024 × 1024 B/s

2. 控制邏輯分步說明

步驟代碼片段說明
1. 記錄開始時間long startTime = System.currentTimeMillis();下載任務(wù)啟動時記錄初始時間戳
2. 累計下載量totalBytes += bytesRead;每次讀取數(shù)據(jù)塊后更新總字節(jié)數(shù)
3. 計算理論耗時expectedTime = (totalBytes * 1000) / MAX_BPS根據(jù)當(dāng)前下載量計算理論應(yīng)耗時
4. 對比實際耗時elapsed = now - startTime獲取實際已耗時
5. 動態(tài)休眠補(bǔ)償Thread.sleep(expectedTime - elapsed)強(qiáng)制等待至理論時間線

流程:

1. 打開網(wǎng)絡(luò)連接,獲取輸入流。

2. 創(chuàng)建文件輸出流和MessageDigest實例。

3. 循環(huán)讀取數(shù)據(jù)到緩沖區(qū),每次讀取后寫入文件,更新MD5(MD5可以邊讀取文件邊計算,防止整個文件讀取完再計算導(dǎo)致的內(nèi)存壓力),并進(jìn)行限流計算。

4. 下載完成后,關(guān)閉流,并輸出MD5結(jié)果。

實現(xiàn):

 
public static String getMd5(String url, String type) {
        CloseableHttpClient httpClient = HttpClients.createDefault();
        final long MAX_BPS = 2 * 1024 * 1024; // 200Mbps = 25MB/s
        MessageDigest md;
        // 創(chuàng)建時間格式化器(線程安全)
        DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");
        try {
            md = MessageDigest.getInstance("MD5");
        } catch (NoSuchAlgorithmException e) {
            throw new RuntimeException("MD5 algorithm not found", e);
        }
        try (CloseableHttpResponse response = httpClient.execute(new HttpGet(url))) {
            HttpEntity entity = response.getEntity();
            if (entity == null) {
                return "";
            }
            // 記錄開始時間
            long startTime = System.currentTimeMillis();
            try (InputStream in = entity.getContent()) {
                byte[] buffer = new byte[8192];
                int bytesRead;
                long totalBytes = 0;
                while ((bytesRead = in.read(buffer)) != -1) {
                    md.update(buffer, 0, bytesRead);
                    totalBytes += bytesRead;
                    // 動態(tài)限速邏輯
                    long elapsed = System.currentTimeMillis() - startTime;
                    long expectedTime = (totalBytes * 1000) / MAX_BPS;
                    if (elapsed < expectedTime) {
                        Thread.sleep(expectedTime - elapsed);
                    }
                }
                // 計算最終統(tǒng)計信息
                long endTime = System.currentTimeMillis();
                double timeCost = DoubleUtils.formatDouble((endTime - startTime) / 1000.0);
                String sizeMB = String.format("%.3f", DoubleUtils.formatDouble(totalBytes / (1024.0 * 1024)));
                // 生成MD5
                String md5 = DatatypeConverter.printHexBinary(md.digest()).toLowerCase();
                // 完整日志輸出
                log.info("下載完成 | 類型: {} | MD5: {} | 大小: {}MB | 耗時: {}s",
                        type, md5, sizeMB, timeCost);
                return md5;
            }
        } catch (Exception e) {
            // 記錄異常發(fā)生時間
            String errorTime = LocalDateTime.now().format(formatter);
            log.error("下載失敗 | 類型: {} | 錯誤時間: {} | 原因: {}",
                    type, errorTime, e.getMessage());
            return "";
        }finally {
            try {
                httpClient.close();
            }catch (Exception e) {
            }
        }
    }

到此這篇關(guān)于Java實現(xiàn)http請求文件流對帶寬限速獲取md5值的文章就介紹到這了,更多相關(guān)java帶寬限速獲取md5值內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • 詳談Feign的配置類是如何生效的

    詳談Feign的配置類是如何生效的

    這篇文章主要介紹了Feign的配置類是如何生效的,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-08-08
  • SpringBoot Admin之應(yīng)用監(jiān)控與告警配置方式

    SpringBoot Admin之應(yīng)用監(jiān)控與告警配置方式

    這篇文章主要介紹了SpringBoot Admin之應(yīng)用監(jiān)控與告警配置方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2025-04-04
  • Redisson分布式鎖實現(xiàn)原理示例詳解

    Redisson分布式鎖實現(xiàn)原理示例詳解

    Redisson分布式鎖通過Lua腳本保證原子性操作,實現(xiàn)了分布式互斥、可重入、自動續(xù)期等核心特性,其高級特性包括公平鎖、讀寫鎖和紅鎖算法,能夠滿足不同場景下的并發(fā)控制需求,這篇文章主要介紹了Redisson分布式鎖實現(xiàn)原理的相關(guān)資料,需要的朋友可以參考下
    2026-04-04
  • 關(guān)于java.lang.NumberFormatException: null的問題及解決

    關(guān)于java.lang.NumberFormatException: null的問題及解決

    這篇文章主要介紹了關(guān)于java.lang.NumberFormatException: null的問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2023-09-09
  • Spring MVC如何設(shè)置請求頭和響應(yīng)頭的Header

    Spring MVC如何設(shè)置請求頭和響應(yīng)頭的Header

    這篇文章主要介紹了Spring MVC如何設(shè)置請求頭和響應(yīng)頭的Header問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
    2025-03-03
  • java8學(xué)習(xí)教程之函數(shù)引用的使用方法

    java8學(xué)習(xí)教程之函數(shù)引用的使用方法

    這篇文章主要給大家介紹了關(guān)于java8學(xué)習(xí)教程之函數(shù)引用的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)下吧。
    2017-09-09
  • 理解HashSet里為什么value不是null

    理解HashSet里為什么value不是null

    你有沒有想過Java中HashSet的Value為什么要存PRESENT而不是Null?帶著這個疑問來看下邊的文章尋找答案吧
    2021-09-09
  • Java notify和notifyAll的區(qū)別和相同

    Java notify和notifyAll的區(qū)別和相同

    本文主要介紹Java notify和notifyAll的知識,這里整理詳細(xì)的資料來說明notify 和NotifAll的區(qū)別,有需要的小伙伴可以參考下
    2016-09-09
  • mybatis實現(xiàn)批量插入并返回主鍵(xml和注解兩種方法)

    mybatis實現(xiàn)批量插入并返回主鍵(xml和注解兩種方法)

    這篇文章主要介紹了mybatis實現(xiàn)批量插入并返回主鍵(xml和注解兩種方法),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-12-12
  • Gson序列化指定忽略字段的三種寫法詳解

    Gson序列化指定忽略字段的三種寫法詳解

    在我們?nèi)粘J褂胘son序列化框架過程中,經(jīng)常會遇到在輸出json字符串時,忽略某些字段,那么在Gson框架中,要想實現(xiàn)這種方式,可以怎么處理呢,本文就來介紹一下
    2021-10-10

最新評論

台前县| 固始县| 宝丰县| 永安市| 桂平市| 弋阳县| 保靖县| 吉安县| 康保县| 信阳市| 伊宁市| 泰兴市| 红原县| 黑龙江省| 雷山县| 资溪县| 清苑县| 扶绥县| 旺苍县| 靖宇县| 新化县| 林周县| 遂溪县| 蒙自县| 棋牌| 松原市| 丹巴县| 华坪县| 陕西省| 冷水江市| 武鸣县| 弋阳县| 沿河| 乐至县| 宜宾县| 临江市| 通渭县| 西平县| 大庆市| 临澧县| 遵化市|