來來來，快速擼 Redis 一遍！

語言: CN / TW / HK
時間 2023-01-14 09:15:04

theme: condensed-night-purple

原創：小姐姐味道（微信公眾號ID：xjjdog），歡迎分享，轉載請保留出處。

年底了，你發年終獎了麼？是不是很不爽？不管是被動畢業還是主動畢業，生活還得繼續是不是？

作為程式設計師，那就離不開Redis，誰讓不爭氣的磁碟還是那麼慢呢？要過了面試這道坎，Redis必須掌握好。除了會用，還得了解它背後的原理。

為啥？因為大家現在都在養蠱。人生在世，諸多無奈。逆水行舟，不進則退。

如果你讀過Redis相關的書籍，本文就幫你快速的擼一遍。沒讀過也不要緊，缺啥補啥。

redis能力： - 1 0W/s QPS （redis-benchmark） - 1w+ 長連結 （netstat / ss） - 最複雜的Zset 6kw資料 寫入1k/s 讀取5k/s 平均耗時5ms - 持久化 (rdb)

1. 基本概覽

學習一門新語言，重要的是掌握它的基本資料結構，以及這些資料結構的API。redis的這些資料結構，就類似一門語言。

Redis資料結構

常用5種，一共10種。面試時一般回答5種即可，但其他5種是加分項。

  • String字串
  • Hash 字典
  • List 列表
  • Set集合
  • ZSet 有序集合。效能參考：《redis的zset有多牛？請把耳朵遞過來》
  • Pubsub 釋出訂閱 （不推薦使用，坑很多）
  • Bitmap 點陣圖
  • GEO 地理位置 （有限使用，附近的人）
  • Stream 流(5.0) （與Kafka非常像）
  • Hyperloglog 基數統計

Redis的協議

Redis是文字協議

  • RESP 以CRLF結尾(\r\n)
  • RESP3 （redis6啟用，增加客戶端快取）

Redis底層資料結構

資料量較小和大資料量的時候，往往不同，關注大資料量的主要結構。

  • String-sds
  • Hash-(ziplist , dict)
  • Set-(intset,dict)
  • List-(ziplist,quicklist)
  • ZSet-(ziplist+skiptable 跳錶)
  • Stream-(radix-tree 基數數)

跳錶的關注度比較大，在Java中，可以參考類似ConcurrentSkipListMap實現。

另：Java中有序Set叫做TreeSet，但是用紅黑樹實現的，注意區別。

Redis持久化方式

生產環境，一般僅採用RDB模式。

  • RDB
  • AOF （類似Binglog row模式）
  • 混合模式：RDB+AOF

O(n)指令

  • keys *
  • hgetall
  • smembers
  • sunion
  • ...

建議在集合大小不確定的時候，使用scan hscan sscan zscan 替代。另外，像keys這種危險命令，最好使用RENAME指令給遮蔽掉。

效能優化

  • unlink刪除key -> 非同步避免阻塞
  • pipeline批量傳輸，減少網路RTT ->減少頻繁網路互動
  • 多值指令（mset，hmset）-> 減少頻繁網路互動
  • 關掉aof -> 避免io_wait

擴充套件方式

  • lua
  • redis-module

module模式知道的人比較少，屬於比較底層的開發。

2. 問題排查

  • monitor指令 回顯所有執行的指令。可以使用grep配合過濾
  • keyspace-events 訂閱某些Key的事件。比如，刪除某條資料的事件，底層實現基於pubsub
  • slow log 顧名思義，滿查詢，非常有用
  • --bigkeys啟動引數 Redis大Key健康檢查。使用的是scan的方式執行， 不用擔心阻塞
  • memory usage key、memory stats 指令
  • info指令，關注instantaneous_ops_per_sec、used_memory_human、connected_clients
  • redis-rdb-tools rdb線下分析

3. 淘汰策略

如果你應聘的是redis dba，這道題答不出來，直接淘汰。

  1. 被動刪除 (只有被get到的時候，刪除並返回NIL 屬於惰性刪除）
  2. 主動刪除 (100ms執行一次，隨機刪除持續25ms，類似Cron）
  3. ->記憶體使用超過maxmemory，觸發主動清理策略

針對於第三種情況，有8種策略。注意，redis已經有LFU了。

  1. 預設volatile-lru 從設定過期資料集裡查詢最近最少使用
  2. volatile-ttl 從設定過期的資料集裡面優先刪除剩餘時間短的Key
  3. volatile-random 從設定過期的資料集裡面任意選擇資料淘汰
  4. volatile-lfu 從過期的資料集裡刪除 最近不常使用 的資料淘汰
  5. allkeys-lru
  6. allkeys-lfu
  7. allkeys-random 資料被使用頻次最少的,優先被淘汰
  8. no-enviction

如果不設定maxmemory,Redis將一直使用記憶體，直到觸發作業系統的OOM-KILLER。

4. 叢集模式

  1. 單機
  2. 單機多例項
  3. 主從（1+n）
  4. 主從（1+n）& 哨兵（3或者基數個）
  5. Redis Cluster （推薦，但使用有限制）。參考：《與親生的Redis Cluster，來一次親密接觸》

網際網路建議使用Redis Cluster，外包、專案隨意。

具體搭建過程，請參考：《好慌，Redis這麼多叢集方案，要用哪種？》

大規模

  • twemproxy
  • codis
  • 基於Netty Redis協議自研
  • 管理平臺：CacheCloud

5. Redis常見問題

Redis使用場景

  • 快取 （快取一致性 快取穿透 快取擊穿 快取雪崩）
  • 分散式鎖 （redlock）
  • 分散式限流
  • Session

API舉例：

  • zset 排行榜，排序
  • bitmap 使用者簽到，線上狀態
  • geo 地理位置，附近的人
  • stream 類似kafka的訊息流
  • hyperloglog 每日訪問ip數統計

快取一致性

為什麼有一致性問題?

  • 寫入。快取和資料庫是兩個不同的元件，只要涉及到雙寫，就存在只有一個寫成功的可能性，造成資料不一致。
  • 更新。更新的情況類似，需要更新兩個不同的元件。
  • 讀取。讀取要保證從快取中讀到的資訊是最新的，是和資料庫中的是一致的。
  • 刪除。當刪除資料庫記錄的時候，如何把快取中的資料也刪掉？

建議使用：Cache Aside Pattern

讀請求： - 先讀cache，再讀db

變更操作： - 先操作資料庫，再 淘汰 快取

涉及到複雜的事務和回滾操作，可以把淘汰放在finally裡。

問題：快取淘汰失敗！（概率很低 ，定時補償）

快取擊穿

影響，輕微。

高流量下 大量請求讀取一個失效的Key -> Redis Miss -> 穿透到DB

解決方式：採用分散式鎖，只有拿到鎖的第一個執行緒去請求資料庫，然後插入快取

快取穿透

影響，一般。

訪問一個不存在的Key（惡意攻擊）-> Redis Miss -> 穿透到DB

解決方式： 1. 給相應的Key設定一個Null值，放在快取中 2. BloomFilter預先判斷

快取雪崩

影響：嚴重。

大量Key同時失效 ｜ 2.Redis當機 -> Redis Miss -> 壓力打到DB

解決方式： 1. 給失效時間加上相對的隨機數 2. 保證Redis的高可用

分散式鎖

redis的分散式鎖，並不是那麼簡單。建議使用redisson的redlock。最基礎的指令是setnx。

bash setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]

分散式鎖 關鍵點： - 原子性 - 鎖超時 - 死鎖 - 讀寫鎖 - 故障轉移

最簡單的Redis分散式鎖程式碼（不嚴謹）。

java端程式碼模擬lock和unlock。

java public String lock(String key, int timeOutSecond) { for (; ; ) { String stamp = String.valueOf(System.nanoTime()); boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS); if (exist) { return stamp; } } } public void unlock(String key, String stamp) { redisTemplate.execute(script, Arrays.asList(key), stamp); }

lua指令碼unlock。

lua local stamp = ARGV[1] local key = KEYS[1] local current = redis.call("GET",key) if stamp == current then redis.call("DEL",key) return "OK" end

6. Redis使用

常用Java客戶端

  • lettuce SpringBoot預設,基於Netty的事件驅動模型
  • jedis 老牌的客戶端，使用commons-pool來完成執行緒池開發
  • redisson 非常豐富的分散式資料結構，包括鎖，分散式Map等。大量使用Lua指令碼️

詳細分析：Redis都要老了，你還在用什麼古董客戶端？

使用規範

根據公司情況自定義裁剪，沒有萬能的規範。更多：

這可能是最中肯的Redis規範了

  • 使用連線池，不要頻繁建立關閉客戶端連線
  • 訊息大小限制 訊息體在10kb以下，可以使用snappy、msgpack等壓縮
  • 避免大key和hot key
  • 不使用O(n)指令
  • 不使用不帶範圍的Zrange指令
  • 不使用database（容易覆蓋資料）
  • 不使用高階資料結構（使用基本的5種）
  • 不使用事務操作
  • 禁止長時間monitor

springboot cache redis

  • 使用時更要注意規範性
  • cache層抽象層次太高，如需要操作底層的資料結構，直接使用redisTemplate

Redis是多執行緒？

要看哪個階段。資料操作階段，一直是單執行緒的，哪怕是redis6。

這篇文章分析了這個過程：和 槓精 聊Redis多執行緒 :(

End

祝好運！如有幫助，請不吝賜贊。

作者簡介：小姐姐味道 (xjjdog)，一個不允許程式設計師走彎路的公眾號。聚焦基礎架構和Linux。十年架構，日百億流量，與你探討高併發世界，給你不一樣的味道。我的個人微信xjjdog0，歡迎新增好友，​進一步交流。​

「」
「」