Java實現(xiàn)http請求文件流對帶寬限速獲取md5值
場景:
當(dāng)進(jìn)行http請求獲取大數(shù)據(jù)的情況,例如下載視頻圖片的情況,特別是云服務(wù)器會有帶寬限制,超出帶寬會出現(xiàn)掉包丟數(shù)據(jù)的情況,例如:云服務(wù)器限制25m/s的速度,當(dāng)一個視頻下載超過25m/s的速度的時候就會導(dǎo)致掉包,除了限速還需要注意下并發(fā)問題,多個線程同時下載也會超出帶寬限制,可實現(xiàn)該代碼并設(shè)置單獨的線程池,控制同時并發(fā)的線程數(shù)來解決帶寬問題.
邏輯:
我們可以使用一個緩沖區(qū),每次從輸入流讀取數(shù)據(jù)后,先將寫入文件的同時更新MD5,這樣更高效,因為只需要處理一次數(shù)據(jù)。這樣就不會增加額外的讀取次數(shù),避免影響性能。然后,帶寬限流的邏輯需要確保在限流的同時處理這兩個操作。每次讀取數(shù)據(jù)塊后,會計算總字節(jié)數(shù)和時間,判斷是否需要暫停(使用Thread.sleep())。計算MD5的消耗應(yīng)該相對較小,主要的時間還是在網(wǎng)絡(luò)讀取和文件寫入上。
1. 核心公式
限速邏輯基于以下公式實現(xiàn):
預(yù)期耗時(ms)=已下載總字節(jié)數(shù)×1000最大允許帶寬(B/s)預(yù)期耗時(ms)=最大允許帶寬(B/s)已下載總字節(jié)數(shù)×1000?

其中 MAX_BPS = NMB/s = N × 1024 × 1024 B/s
2. 控制邏輯分步說明
| 步驟 | 代碼片段 | 說明 |
|---|---|---|
| 1. 記錄開始時間 | long startTime = System.currentTimeMillis(); | 下載任務(wù)啟動時記錄初始時間戳 |
| 2. 累計下載量 | totalBytes += bytesRead; | 每次讀取數(shù)據(jù)塊后更新總字節(jié)數(shù) |
| 3. 計算理論耗時 | expectedTime = (totalBytes * 1000) / MAX_BPS | 根據(jù)當(dāng)前下載量計算理論應(yīng)耗時 |
| 4. 對比實際耗時 | elapsed = now - startTime | 獲取實際已耗時 |
| 5. 動態(tài)休眠補(bǔ)償 | Thread.sleep(expectedTime - elapsed) | 強(qiáng)制等待至理論時間線 |
流程:
1. 打開網(wǎng)絡(luò)連接,獲取輸入流。
2. 創(chuàng)建文件輸出流和MessageDigest實例。
3. 循環(huán)讀取數(shù)據(jù)到緩沖區(qū),每次讀取后寫入文件,更新MD5(MD5可以邊讀取文件邊計算,防止整個文件讀取完再計算導(dǎo)致的內(nèi)存壓力),并進(jìn)行限流計算。
4. 下載完成后,關(guān)閉流,并輸出MD5結(jié)果。
實現(xiàn):
public static String getMd5(String url, String type) {
CloseableHttpClient httpClient = HttpClients.createDefault();
final long MAX_BPS = 2 * 1024 * 1024; // 200Mbps = 25MB/s
MessageDigest md;
// 創(chuàng)建時間格式化器(線程安全)
DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss.SSS");
try {
md = MessageDigest.getInstance("MD5");
} catch (NoSuchAlgorithmException e) {
throw new RuntimeException("MD5 algorithm not found", e);
}
try (CloseableHttpResponse response = httpClient.execute(new HttpGet(url))) {
HttpEntity entity = response.getEntity();
if (entity == null) {
return "";
}
// 記錄開始時間
long startTime = System.currentTimeMillis();
try (InputStream in = entity.getContent()) {
byte[] buffer = new byte[8192];
int bytesRead;
long totalBytes = 0;
while ((bytesRead = in.read(buffer)) != -1) {
md.update(buffer, 0, bytesRead);
totalBytes += bytesRead;
// 動態(tài)限速邏輯
long elapsed = System.currentTimeMillis() - startTime;
long expectedTime = (totalBytes * 1000) / MAX_BPS;
if (elapsed < expectedTime) {
Thread.sleep(expectedTime - elapsed);
}
}
// 計算最終統(tǒng)計信息
long endTime = System.currentTimeMillis();
double timeCost = DoubleUtils.formatDouble((endTime - startTime) / 1000.0);
String sizeMB = String.format("%.3f", DoubleUtils.formatDouble(totalBytes / (1024.0 * 1024)));
// 生成MD5
String md5 = DatatypeConverter.printHexBinary(md.digest()).toLowerCase();
// 完整日志輸出
log.info("下載完成 | 類型: {} | MD5: {} | 大小: {}MB | 耗時: {}s",
type, md5, sizeMB, timeCost);
return md5;
}
} catch (Exception e) {
// 記錄異常發(fā)生時間
String errorTime = LocalDateTime.now().format(formatter);
log.error("下載失敗 | 類型: {} | 錯誤時間: {} | 原因: {}",
type, errorTime, e.getMessage());
return "";
}finally {
try {
httpClient.close();
}catch (Exception e) {
}
}
}到此這篇關(guān)于Java實現(xiàn)http請求文件流對帶寬限速獲取md5值的文章就介紹到這了,更多相關(guān)java帶寬限速獲取md5值內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
SpringBoot Admin之應(yīng)用監(jiān)控與告警配置方式
這篇文章主要介紹了SpringBoot Admin之應(yīng)用監(jiān)控與告警配置方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-04-04
關(guān)于java.lang.NumberFormatException: null的問題及解決
這篇文章主要介紹了關(guān)于java.lang.NumberFormatException: null的問題及解決方案,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-09-09
Spring MVC如何設(shè)置請求頭和響應(yīng)頭的Header
這篇文章主要介紹了Spring MVC如何設(shè)置請求頭和響應(yīng)頭的Header問題,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2025-03-03
java8學(xué)習(xí)教程之函數(shù)引用的使用方法
這篇文章主要給大家介紹了關(guān)于java8學(xué)習(xí)教程之函數(shù)引用的使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)下吧。2017-09-09
Java notify和notifyAll的區(qū)別和相同
本文主要介紹Java notify和notifyAll的知識,這里整理詳細(xì)的資料來說明notify 和NotifAll的區(qū)別,有需要的小伙伴可以參考下2016-09-09
mybatis實現(xiàn)批量插入并返回主鍵(xml和注解兩種方法)
這篇文章主要介紹了mybatis實現(xiàn)批量插入并返回主鍵(xml和注解兩種方法),具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-12-12

