聊聊 Redis 是如何進行請求處理

語言: CN / TW / HK

感覺這部分的程式碼還是挺有意思的,我儘量用比較通俗的方式進行講解

概述

我記得我在 一文說透 Go 語言 HTTP 標準庫 這篇文章裡面解析了對於 Go 來說是如何建立一個 Server 端程式的:

  • 首先是註冊處理器;
  • 開啟迴圈監聽埠,每監聽到一個連線就會建立一個 Goroutine;
  • 然後就是 Goroutine 裡面會迴圈的等待接收請求資料,然後根據請求的地址去處理器路由表中匹配對應的處理器,然後將請求交給處理器處理;

用程式碼表示就是這樣:

func (srv *Server) Serve(l net.Listener) error { 
    ...
    baseCtx := context.Background()  
    ctx := context.WithValue(baseCtx, ServerContextKey, srv)
    for {
        // 接收 listener 過來的網路連線
        rw, err := l.Accept()
        ... 
        tempDelay = 0
        c := srv.newConn(rw)
        c.setState(c.rwc, StateNew) 
        // 建立協程處理連線
        go c.serve(connCtx)
    }
}

對於 Redis 來說就有些不太一樣,因為它是單執行緒的,無法使用多執行緒處理連線,所以 Redis 選擇使用基於 Reactor 模式的事件驅動程式來實現事件的併發處理。

在 Redis 中所謂 Reactor 模式就是通過 epoll 來監聽多個 fd,每當這些 fd 有響應的時候會以事件的形式通知 epoll 進行回撥,每一個事件都有一個對應的事件處理器。

如: accept 對應 acceptTCPHandler 事件處理器、read & write 對應readQueryFromClient 事件處理器等,然後通過事件的迴圈派發的形式將事件分配給事件處理器進行處理。

所以說上面的這個 Reactor 模式都是通過 epoll 來實現的,對於 epoll 來說主要有這三個方法:

//建立一個epoll的控制代碼,size用來告訴核心這個監聽的數目一共有多大
int epoll_create(int size);

/*
 * 可以理解為,增刪改 fd 需要監聽的事件
 * epfd 是 epoll_create() 建立的控制代碼。
 * op 表示 增刪改
 * epoll_event 表示需要監聽的事件,Redis 只用到了可讀,可寫,錯誤,結束通話 四個狀態
 */
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

/*
 * 可以理解為查詢符合條件的事件
 * epfd 是 epoll_create() 建立的控制代碼。
 * epoll_event 用來存放從核心得到事件的集合
 * maxevents 獲取的最大事件數
 * timeout 等待超時時間
 */
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);

所以我們可以根據這三個方法實現一個簡單的 server:

// 建立監聽
int listenfd = ::socket();

// 繫結ip和埠
int r = ::bind();  
// 建立 epoll 例項
int epollfd = epoll_create(xxx); 
// 新增epoll要監聽的事件型別
int r = epoll_ctl(..., listenfd, ...);

struct epoll_event* alive_events =  static_cast<epoll_event*>(calloc(kMaxEvents, sizeof(epoll_event)));

while (true) {
    // 等待事件
    int num = epoll_wait(epollfd, alive_events, kMaxEvents, kEpollWaitTime);
    // 遍歷事件,並進行事件處理
    for (int i = 0; i < num; ++i) {
        int fd = alive_events[i].data.fd;
        // 獲取事件
        int events = alive_events[i].events;
        // 進行事件的分發
        if ( (events & EPOLLERR) || (events & EPOLLHUP) ) {
            ...
        } else  if (events & EPOLLRDHUP) {
            ...
        } 
        ...
    }   
}

呼叫流程

所以根據上面的介紹,可以知道對於 Redis 來說一個事件迴圈無非也就這麼幾步:

  1. 註冊事件監聽及回撥函式;
  2. 迴圈等待獲取事件並處理;
  3. 呼叫回撥函式,處理資料邏輯;
  4. 回寫資料給 Client;

  1. 註冊 fd 到 epoll 中,並設定回撥函式 acceptTcpHandler,如果有新連線那麼會呼叫回撥函式;
  2. 啟動一個死迴圈呼叫 epoll_wait 等待並持續處理事件,待會我們回到 aeMain 函式中迴圈調 aeProcessEvents 函式;
  3. 當有網路事件過來的時候,會順著回撥函式 acceptTcpHandler 一路呼叫到 readQueryFromClient 進行資料的處理,readQueryFromClient 會解析 client 的資料,找到對應的 cmd 函式執行;
  4. Redis 例項在收到客戶端請求後,會在處理客戶端命令後,將要返回的資料寫入客戶端輸出緩衝區中而不是立馬返回;
  5. 然後在 aeMain 函式每次迴圈時都會呼叫 beforeSleep 函式將緩衝區中的資料寫回客戶端;

上面的整個事件迴圈的過程實際上程式碼步驟已經寫的非常清晰,網上也有很多文章介紹,我就不多講了。

命令執行過程 & 回寫客戶端

命令執行

下面我們講點網上很多文章都沒提及的,看看 Redis 是如何執行命令,然後存入快取,以及將資料從快取寫回 Client 這個過程。

在前一節我們也提到了,如果有網路事件過來的時候會呼叫到 readQueryFromClient 函式,它是真正執行命令的地方。我們也就順著這個方法一直往下看:

server.commands

server.commands 會在 populateCommandTable 函式中將所有的 Redis 命令註冊進去,作為一個根據命令名獲取命令函式的表。

比如說,要執行 get 命令,那麼會呼叫到 getCommand 函式:

void getCommand(client *c) {
    getGenericCommand(c);
}

int getGenericCommand(client *c) {
    robj *o;
    // 查詢資料
    if ((o = lookupKeyReadOrReply(c,c->argv[1],shared.nullbulk)) == NULL)
        return C_OK;
    ...
}

robj *lookupKeyReadOrReply(client *c, robj *key, robj *reply) {
    //到db中查詢資料
    robj *o = lookupKeyRead(c->db, key);
    // 寫入到快取中
    if (!o) addReply(c,reply);
    return o;
}

在 getCommand 函式中查詢到資料,然後呼叫 addReply 將要返回的資料寫入客戶端輸出緩衝區。

資料回寫客戶端

在上面執行完命令寫入到緩衝區後,還需要從緩衝區取出資料返回給 Client。對於資料回寫客戶端這個流程來說,其實也是在服務端的事件迴圈中完成的。

  1. 首先 Redis 會在 main 函式中呼叫 aeSetBeforeSleepProc 函式將回寫包的函式 beforeSleep 註冊到 eventLoop 中去;
  2. 然後 Redis 在呼叫 aeMain 函式進行事件迴圈的時候都會判斷一下 beforesleep 有沒有被設值,如果有,那麼就會進行呼叫;
  3. beforesleep 函式裡面會呼叫到 handleClientsWithPendingWrites 函式,它會呼叫 writeToClient 將資料從緩衝區中回寫給客戶端;

總結

這篇文章介紹了整個 Redis 的請求處理模型到底是怎樣的。從註冊監聽 fd 事件到執行命令,到最後將資料回寫給客戶端都做了個大概的分析。當然這篇文章也和我以往的文章有點不同,沒有長篇大論的貼程式碼,主要我覺得也沒啥必要,感興趣可以順著流程圖去看看程式碼。

Reference

http://www.dre.vanderbilt.edu/~schmidt/PDF/reactor-siemens.pdf

https://time.geekbang.org/column/article/408491

http://remcarpediem.net/article/1aa2da89/

https://github.com/Junnplus/blog/issues/37

https://www.cnblogs.com/neooelric/p/9629948.html