ASP.NET Core中使用固定視窗限流

語言: CN / TW / HK

演算法原理

固定視窗演算法又稱計數器演算法,是一種簡單的限流演算法。在單位時間內設定一個閾值和一個計數值,每收到一個請求則計數值加一,如果計數值超過閾值則觸發限流,如果達不到則請求正常處理,進入下一個單位時間後,計數值清零,重新累計。

WX20211208-222755@2x

如上圖所示,時間單位是1秒,閾值是3。

  • 第1秒3個請求,不會觸發限流;

  • 第2秒1個請求,不會觸發限流;

  • 第3秒4個請求,這一秒的前3個請求正常處理,第4個請求觸發限流,會被拒絕處理。

  • 後續第4秒、第5秒不會觸發限流,所有請求正常處理。

演算法實現

這裡講兩種實現方法:程序內即記憶體固定視窗演算法、基於Redis的固定視窗演算法。

程序內即記憶體固定視窗演算法

使用字典,Key是限流目標,Value包括計數值和過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去字典中查詢,如果不存在,則新增一個字典項,計數值是1,過期時間是當前時間+限流單位時間;如果存在,則檢查是否過期,如果過期,則計數值歸1,過期時間是當前時間+限流單位時間,如果未過期,則僅計數值加1。這裡需要注意多執行緒問題,讀寫資料時需要加鎖。

在C#語言中可以使用MemoryCache,它的快取項有一個過期時間,不需要自己回收過期的專案。

程序內計數的方法最適合單例項處理的程式限流,多例項處理的情況下可能每個例項收到的請求數不均勻,不能保證限流效果。

基於Redis的固定視窗演算法

Redis作為KV儲存,類似於字典,而且也自帶過期時間。處理請求時,首先從請求中提取限流目標,然後根據限流目標去Redis中查詢,如果不存在,則新增KV項,Value值是1,過期時間是當前時間+限流單位時間;如果存在,則Value值加1。

這些操作邏輯可以封裝在一個Lua script中,因為Lua script在Redis中執行時也是原子操作,所以Redis的限流計數在分散式處理時天然就是準確的。

演算法應用

這裡以限流元件 FireflySoft.RateLimit 為例,實現ASP.NET Core中的固定視窗限流。

1、安裝Nuget包

有多種安裝方式,選擇自己喜歡的就行了。

包管理器命令:

shell Install-Package FireflySoft.RateLimit.AspNetCore

或者.NET命令:

shell dotnet add package FireflySoft.RateLimit.AspNetCore

或者專案檔案直接新增:

xml <ItemGroup> <PackageReference Include="FireflySoft.RateLimit.AspNetCore" Version="2.*" /> </ItemGroup>

2、使用中介軟體

在Startup中使用中介軟體,演示程式碼如下(下邊會有詳細說明):

``` public void ConfigureServices(IServiceCollection services) { ... app.AddRateLimit(new InProcessFixedWindowAlgorithm( new[] { new FixedWindowRule() { ExtractTarget = context => { // 提取限流目標 return (context as HttpContext).Request.Path.Value; }, CheckRuleMatching = context => { // 判斷當前請求是否需要限流處理 return true; }, Name="fixed window limit rule", LimitNumber=30, // 限流閾值 StatWindow=TimeSpan.FromSeconds(1) // 限流單位時間 } }) ); ... }

public void Configure(IApplicationBuilder app, IWebHostEnvironment env) { ... app.UseRateLimit(); ... } ```

如上需要先註冊服務,然後使用中介軟體。

註冊服務的時候需要提供限流演算法和對應的規則:

  • 這裡使用程序內固定視窗演算法InProcessFixedWindowAlgorithm,還可以使用RedisFixedWindowAlgorithm,需要傳入一個Redis連線。
  • 限流閾值是30,限流單位時間是1秒。
  • ExtractTarget用於提取限流目標,這裡是每個不同的請求Path。如果有IO請求,這裡還支援對應的非同步方法ExtractTargetAsync。
  • CheckRuleMatching用於驗證當前請求是否限流。如果有IO請求,這裡還支援對應的非同步方法CheckRuleMatchingAsync。
  • 預設被限流時會返回HttpStatusCode 429,可以在AddRateLimit時使用可選引數error自定義這個值,以及Http Header和Body中的內容。

基本的使用就是上邊例子中的這些了。

如果還是基於傳統的.NET Framework,則需要在Application_Start中註冊一個訊息處理器RateLimitHandler,演算法和規則部分都是共用的,具體可以看Github上的使用說明:https://github.com/bosima/FireflySoft.RateLimit#aspnet


FireflySoft.RateLimit 是一個基於 .NET Standard 的限流類庫,其核心簡單輕巧,能夠靈活應對各種需求的限流場景。

其主要特點包括:

  • 多種限流演算法:內建固定視窗、滑動視窗、漏桶、令牌桶四種演算法,還可自定義擴充套件。
  • 多種計數儲存:目前支援記憶體、Redis兩種儲存方式。
  • 分散式友好:通過Redis儲存支援分散式程式統一計數。
  • 限流目標靈活:可以從請求中提取各種資料用於設定限流目標。
  • 支援限流懲罰:可以在客戶端觸發限流後鎖定一段時間不允許其訪問。
  • 動態更改規則:支援程式執行時動態更改限流規則。
  • 自定義錯誤:可以自定義觸發限流後的錯誤碼和錯誤訊息。
  • 普適性:原則上可以滿足任何需要限流的場景。

Github開源地址:https://github.com/bosima/FireflySoft.RateLimit

收穫更多架構知識,請關注公眾號 螢火架構。原創內容,轉載請註明出處。