存貨庫存模型升級始末 | 得物技術
1背景
公司存在多種物料種類、不同型別的庫存和價值管理不一,存貨系統目前主要接入包裝耗材、商品資料。目的是為了:
- 管理出入庫價格、數量、庫齡等業務資料,便於管理部門追溯及財務管控,協助倉庫提升存貨和物料的管理能力。
- 管理倉庫物料及商品的費用價值,提升核算及業務的效率,實現業務資訊一體化及憑證自動化。
- 輔助計劃或採購部門檢視庫存,為採購計劃提供資料支撐。
存貨系統先接入了包耗材資料,這類資料的特性是行資料不多,但每行數量很大。後接入了商品的庫存,由於行資料量增長N倍以上 ,並且隨著業務不斷增長資料量越來越大,考慮到原有底層設計不能很好的支撐這麼大的資料量,故有了這次系統的模型升級。
2面對的問題
2.1 資料承接點問題
原業務流程在資料承接上跨越了核心P0鏈路後才把資料落地到庫存應用(造成了一定的技術風險,歷史上也確實發生過一次技術故障 ,消費上游訊息程式碼有bug,導致P0清結算鏈路資料下發出現阻塞,影響了部分結算單據的處理時效):
(1)資料落庫在單據系統 (2)關聯訂單資料 (3)查詢出未稅單價 (4)組裝後下發庫存
重構前的設計,成本表儲存邏輯:不管每天成本價有沒有變化,都會維護一條記錄;臺賬表儲存邏輯:每天如果有出入庫資料按照業務型別彙總+2條期初期末資料,如果沒有出入庫資料,只儲存2條期初期末資料。從儲存邏輯不難看出儲存了很多冗餘資料,且臺賬表期初期末資料以行的形式儲存也是不合理的。
如下是例子資料
2.2.1 明細表(record)
每天出入庫、調價單的資料
2.2.2 成本表(cost_price)
所有物料每天都需要計算一個成本價
2.2.3 臺賬表(ledger)
日臺賬:彙總當天明細資料、以及期初、期末價格和數量 月臺賬:彙總當月明細資料、以及期初、期末價格和數量
2.3 頁面資料查詢效能瓶頸
2.3.1 大盤&臺賬表分析:
通過大盤和臺賬表分析,在接入倉庫商品資料後,頁面查詢介面耗時很高,介面效能存在問題
2.3.2 日/月進銷存也面臨同樣的問題
3解決方案
3.1 資料承接優化
3.1.1 庫存應用直接承接單據池落地資訊表
3.1.2 具體實現過程
3.2 資料儲存設計問題優化
3.2.1 簡單示例
比如一個物料,3月1日的成本價為100元,後在3月30日又進一件成本價200元的相同物料,則我們庫裡的記錄資訊如下, 2條資料即可 , 【無須每日更新資料,只有當前物料當日有出入庫、調價資料時,才需要插入當日最新資料】,
實際場景,當業務程式碼查詢3月10日的成本價時,往前查詢到03.01的資料即可
3.2.2 期望的資料儲存樣式
而不是30條資料 ( 03.02 至 03.29,這28條資料都是冗餘的資料)
3.2.3 頁面資料查詢效能瓶頸解決方案
由於資料儲存邏輯變更,只會儲存有變動的資料,而進銷存報表是每天都需要產出的不管資料有沒有變化。結合當前業務邏輯以及資料量最後決定把資料同步到數倉,在數倉進行資料補全後,通過報表平臺拉取報表資訊。
棄用當前後管平臺查詢報表 轉為使用報表平臺拉取庫存報表資訊
資料同步流程如下:
報表平臺具備生成類似於Excel的資料展示,以及任意維度查詢資訊的能力,同時也具備Excel匯出的功能
4重構後的價值
4.1 量化業務價值:
每月節省核算以及稽核時間約30小時,佔核算組總月結時間比例為30%。
4.2 不可量化業務價值
-
將倉庫業務納入存貨系統,龐大資料量通過系統自動核算,輸出表格,節約手工核算的時間,以及提升核算資料的準確性,解決無法通過表格實現的困境;
-
提升核算質量的同時,可以完成更多庫存、銷售資料分析,如週轉率分析,出入庫渠道分析,減值計提等等。分析結果提升公司退貨商品的管理以及庫存管理。
-
功能重構從基礎資料、入庫模型、調價單、成本計算、出庫模型、重算、報表都做了升級,在資料接收、成本計算等過程中增加了校驗邏輯和修復資料的功能。
4.3 技術價值
(1)技術價值:首次嘗試了線上TIDB切換流程(包括資料複製、資料同步、資料比對、資料切流),積累了TIDB切換經驗,給後續的TIDB遷移專項提供了經驗沉澱。
(2)技術價值:把P0級的清結算應用裡的部分功能遷移到庫存應用中,解決了大流量的倉庫資料下傳至清結算應用的風險,實現了交易和非交易在應用級別的解耦和隔離。
(3) 團隊價值:以賽代練,通過該專案培養了組內成員對於數倉平臺和報表平臺的實踐和使用,拓寬了團隊整體的技術棧,並積累了資料開發的對應經驗,也落地了數倉平臺和報表平臺的操作使用文件(節省了後續團隊成員的資料開發熟悉接入的成本)。
作者:得物技術
連結:http://juejin.cn/post/7208817904559833149
來源:稀土掘金
著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。
- MySQL MVCC實現原理
- 為什麼專案老夭折?這份專案管理指南請收好
- “伯樂”流量調控平臺工程視角 | 得物技術
- 如何評估某活動帶來的大盤增量 | 得物技術
- 得物榜單|全鏈路生產遷移及B/C端資料儲存隔離
- 透過現象看Java AIO的本質 | 得物技術
- 時效準確率提升之承運商路由網路挖掘 | 得物技術
- 存貨庫存模型升級始末 | 得物技術
- 關於加解密、加簽驗籤的那些事 | 得物技術
- GPU推理服務效能優化之路 | 得物技術
- 得物供應鏈複雜業務實時數倉建設之路
- 從 0 到 1,億級訊息推送的穩定性保障 | 得物技術
- 前端監控穩定性資料分析實踐 | 得物技術
- 得物容器SRE探索與實踐
- 得物熱點探測技術架構設計與實踐
- 今年很火的 AI 繪畫怎麼玩
- 得物社群計數系統設計與實現
- 得物商家客服桌面端Electron技術實踐
- 得物商家客服桌面端Electron技術實踐
- 得物染色環境落地實踐