快捷導(dǎo)航

OpenResty中實(shí)現(xiàn)按QPS、時間范圍、來源IP進(jìn)行限流的方法

更新時間：2024年02月26日 09:36:29 作者：Eric zhou

OpenResty是一個基于Nginx與Lua的高性能Web平臺,它通過LuaJIT在Nginx中運(yùn)行高效的Lua腳本和模塊,可以用來處理復(fù)雜的網(wǎng)絡(luò)請求,并且支持各種流量控制和限制的功能,這篇文章主要介紹了OpenResty中實(shí)現(xiàn)按QPS、時間范圍、來源IP進(jìn)行限流,需要的朋友可以參考下

一、在OpenResty中如何實(shí)現(xiàn)，按QPS、時間范圍、來源IP進(jìn)行限流

使用OpenResty進(jìn)行限流的幾種常見方法：

按QPS（每秒查詢率）限流：
使用ngx_http_limit_req_module模塊，可以限制每個客戶端的請求速率。這個模塊使用漏桶算法來控制請求的速率。

在Nginx配置文件中，你可以這樣設(shè)置：

http {
    limit_req_zone $binary_remote_addr zone=mylimit:10m rate=1r/s;
    server {
        location / {
            limit_req zone=mylimit burst=5 nodelay;
        }
    }
}

上面的配置定義了一個名為mylimit的區(qū)域，它根據(jù)客戶端的IP地址來限流，并且設(shè)置了每秒可以處理的請求數(shù)（rate）為1。burst參數(shù)定義了可以累積的最大請求數(shù)，而nodelay表示不對超出速率的請求進(jìn)行延遲處理。

按時間范圍限流：
如果你想在特定時間范圍內(nèi)限流，你可能需要編寫一些Lua腳本來實(shí)現(xiàn)這個邏輯。例如，你可以使用lua-resty-limit-traffic庫的limit.req模塊，并結(jié)合時間判斷邏輯：

local limit_req = require "resty.limit.req"
local lim, err = limit_req.new("my_limit_req_store", 2, 0)
if not lim then
    ngx.log(ngx.ERR, "failed to instantiate a resty.limit.req object: ", err)
    return ngx.exit(500)
end
local key = ngx.var.binary_remote_addr
local delay, err = lim:incoming(key, true)
-- 檢查當(dāng)前時間是否在限流時間范圍內(nèi)
local current_hour = os.date("%H")
if current_hour >= "09" and current_hour <= "18" then
    -- 在工作時間進(jìn)行限流
    if delay then
        if delay >= 0.001 then
            -- 延遲處理
            ngx.sleep(delay)
        end
    else
        if err == "rejected" then
            -- 請求超出速率限制
            return ngx.exit(503)
        end
        ngx.log(ngx.ERR, "failed to limit req: ", err)
        return ngx.exit(500)
    end
end

按來源IP限流：
使用ngx_http_limit_conn_module模塊，可以限制同時處理的連接數(shù)。如果你想根據(jù)來源IP地址進(jìn)行限流，可以像這樣配置：

http {
    limit_conn_zone $binary_remote_addr zone=addr:10m;
    server {
        location / {
            limit_conn addr 3;
        }
    }
}

這個配置限制了每個IP地址同時只能有3個活躍連接。

在實(shí)際部署時，需要根據(jù)自己的業(yè)務(wù)需求調(diào)整這些配置參數(shù)。需要注意的是，對于復(fù)雜的限流規(guī)則，可能需要結(jié)合多個Nginx模塊和Lua腳本來實(shí)現(xiàn)。

而且，由于限流策略可能會影響用戶體驗(yàn)，應(yīng)謹(jǐn)慎設(shè)計限流規(guī)則，確保它們既能保護(hù)后端服務(wù)，又不會對合法用戶造成不必要的麻煩。

二、限流后提示信息處理和請求狀態(tài)

在OpenResty中，如果你使用了內(nèi)置的限流模塊（如ngx_http_limit_req_module或ngx_http_limit_conn_module）并且請求被限流，你可以通過返回特定的狀態(tài)碼和錯誤頁面來通知用戶。

例如，如果使用limit_req或limit_conn指令，你可以設(shè)置返回503狀態(tài)碼（服務(wù)不可用），然后定義一個自定義的錯誤頁面：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=1r/s;
    limit_conn_zone $binary_remote_addr zone=addr:10m;
    server {
        location / {
            limit_req zone=one burst=5 nodelay;
            limit_conn addr 3;
            error_page 503 /custom_503.html;
        }
        location = /custom_503.html {
            root /path/to/your/error/pages;
            internal;
        }
    }
}

在上面的配置中，當(dāng)請求被限流并返回503狀態(tài)碼時，Nginx將會發(fā)送/path/to/your/error/pages/custom_503.html文件的內(nèi)容作為響應(yīng)。

如果你使用Lua腳本來處理限流，你可以更加靈活地設(shè)置返回的內(nèi)容。例如，你可以使用ngx.exit來返回狀態(tài)碼，同時使用ngx.say或ngx.send_headers來發(fā)送自定義的響應(yīng)體或者響應(yīng)頭。

access_by_lua_block {
    -- 假設(shè)你已經(jīng)進(jìn)行了一些限流判斷...
    if should_limit then
        ngx.status = ngx.HTTP_SERVICE_UNAVAILABLE
        ngx.header.content_type = 'text/html'
        ngx.say("<html><body>Sorry, we are currently receiving too many requests. Please try again later.</body></html>")
        ngx.exit(ngx.HTTP_SERVICE_UNAVAILABLE)
    end
}

在這個Lua代碼塊中，如果should_limit變量為true，則返回503狀態(tài)碼，并顯示一個自定義的HTML錯誤消息。

要注意的是，返回給用戶的信息應(yīng)該既明確又友好，以確保用戶理解為什么他們的請求沒有成功，并且知道下一步該做什么。對于API服務(wù)，通常返回一個JSON對象，包含錯誤碼和錯誤信息會更加合適：

access_by_lua_block {
    -- 假設(shè)你已經(jīng)進(jìn)行了一些限流判斷...
    if should_limit then
        ngx.status = ngx.HTTP_TOO_MANY_REQUESTS -- 429 Too Many Requests
        ngx.header.content_type = 'application/json'
        ngx.say([[{"error": "rate_limit", "error_description": "Too many requests. Please try again later."}]])
        ngx.exit(ngx.HTTP_TOO_MANY_REQUESTS)
    end
}

在這個例子中，我們使用了429狀態(tài)碼（太多請求），這是一個更具體的狀態(tài)碼，用來表示客戶端發(fā)送的請求已經(jīng)超過了服務(wù)器愿意處理的頻率。

三、如何動態(tài)更新限流策略，實(shí)時生效，不需要重啟Nginx

動態(tài)更新限流策略而不重啟Nginx服務(wù)，可以通過以下幾種方式實(shí)現(xiàn)：

Lua共享字典（shared dictionaries）:
OpenResty提供了共享內(nèi)存字典，這是一種在Nginx工作進(jìn)程之間共享數(shù)據(jù)的機(jī)制。你可以使用共享字典來存儲限流配置，并且在Lua代碼中動態(tài)讀取這些配置。這樣，當(dāng)你更新了共享字典中的配置時，不需要重啟Nginx，新的請求將會使用新的限流配置。

例如，你可以定義一個共享字典來存儲限流速率：

http {
    lua_shared_dict my_limit_req_store 10m;
    init_by_lua_block {
        local dict = ngx.shared.my_limit_req_store
        dict:set("rate", 1) -- 設(shè)置每秒請求數(shù)為1
    }
    server {
        location / {
            access_by_lua_block {
                local dict = ngx.shared.my_limit_req_store
                local rate = dict:get("rate") -- 動態(tài)獲取當(dāng)前的限流速率
                -- 接下來使用這個rate值來進(jìn)行限流...
            }
        }
    }
}

當(dāng)你需要更新限流策略時，只需修改共享字典中的值即可。

OpenResty的控制API:
OpenResty提供了一個控制API，可以用來動態(tài)地調(diào)整運(yùn)行時的Nginx配置。這個API可以通過Lua代碼來調(diào)用，從而實(shí)現(xiàn)不重啟服務(wù)的情況下更新配置。

外部配置服務(wù):
你可以將限流配置存儲在外部服務(wù)中，比如數(shù)據(jù)庫、配置文件或者分布式配置系統(tǒng)（如etcd、Consul）。然后在Nginx的Lua代碼中定期輪詢這些服務(wù)，獲取最新的限流配置。

access_by_lua_block {
    local http = require "resty.http"
    local httpc = http.new()
    local res, err = httpc:request_uri("http://config-service/get_rate_limit", {
        method = "GET",
        headers = {
            ["Content-Type"] = "application/json",
        }
    })
    if not res then
        ngx.log(ngx.ERR, "failed to request: ", err)
        return
    end
    local rate_limit = tonumber(res.body)
    if rate_limit then
        -- 應(yīng)用新的限流策略...
    end
}