我們做了一個智慧零售結算平臺

目前在零售行業的實際運營過程中，會產生巨大的人力成本，例如導購、保潔、結算等，而其中，尤其需要花費大量的人力成本和時間成本在識別商品並對其進行價格結算的過程中，並且在此過程中，顧客也因此而需要排隊等待。這樣一來零售行業人力成本較大、工作效率極低，二來也使得顧客的購物體驗下降。

隨著計算機視覺技術的發展，以及無人化、自動化超市運營理念的提出，利用影象識別技術及目標檢測技術實現產品的自動識別及自動化結算的需求呼之欲出，即自動結賬系統（Automatic checkout, ACO）。基於計算機視覺的自動結賬系統能有效降低零售行業的運營成本，提高顧客結賬效率，從而進一步提升使用者在購物過程中的體驗感與幸福感。

AI結算的核心是影象識別。影象識別的準確率決定了AI結算落地的可行性。目前，AI結算面臨著如下幾個痛點問題：

1. 商品包裝相似 ：同類別商品口味不同且價格也不同，不同類別商品外包裝相似，都對影象識別精度具有較高的要求；

2. 干擾因素眾多 ：同類別商品在識別時容易因角度問題發生變形、摺疊、遮擋等干擾，對識別結果造成影響；

3. 品類更新極快 ：零售商品通常以小時級別速度更新迭代，每增加新產品時若僅靠單一模型均需重新訓練模型，模型訓練成本及時間成本極大；

4. 系統性能要求高 ：需要同時解決檢測和識別兩個任務，選模型和優化時要權衡精度與速度兩方面。

袋鼯麻麻ColugoMum致力於為 中小型型線下零售體驗店 提供 基於視覺 的智慧零售結算方案，並在Github社群和啟智社群同步開源。

http://github.com/ColugoMum http://git.openi.org.cn/ColugoMum

基於上述痛點問題，ColugoMum團隊採用飛槳PaddleClas[1]團隊提出的PP-ShiTu[2]影象識別系統。基於PP-ShiTu實現的商品識別方案為零售場景中商品多類別、小樣本、高相似和更新頻繁問題提供了新的思路，不僅能對多類別商品進行精準識別，也可以滿足對預測效率的極致追求。尤為實用的功能在於： 實際上線使用的時候，遇到新的需要識別的商品類別，無需重新訓練模型，只需要在檢索庫中增加該類別影象特徵，就能夠實現對新商品的識別！

PP-ShiTu是一個實用的輕量級通用影象識別系統，主要由主體檢測、特徵學習和向量檢索三個模組組成。該系統從骨幹網路選擇和調整、損失函式的選擇、資料增強、學習率變換策略、正則化引數選擇、預訓練模型使用以及模型裁剪量化8個方面，採用多種策略，對各個模組的模型進行優化，並經過10w+類別資料進行訓練，最終得到在CPU上預測時間僅需0.2s的多場景通用影象識別系統。

簡單來說，PP-ShiTu的使用分為三步：

1.通過主體檢測模型，對圖片中的物體一一識別；

2.對每個候選區域進行特徵提取；

3.將特徵提取後的向量在檢索庫中進行檢索，完成匹配，返回識別結果。

考慮到實際零售場景對於精度和預測速度的極致追求，ColugoMum團隊在主體檢測部分選取了PicoDet模型作為主體檢測演算法，選取了輕量級PPLCNet_x2_5_ssld模型用作特徵提取，最後使用向量搜尋模組Faiss中的HNSW32作為檢索演算法，實現速度與精度的極致平衡。

基於此，ColugoMum團隊基於RP2K資料集已經實現了最高**96.91%**的預測精度。

RP2K資料集[3]收錄了50萬+張零售商品貨架圖片，商品種類超過2,000種，是目前零售類資料集中產品種類數量最多的資料集。不同於一般聚焦新產品的資料集，RP2K收錄了超過50萬張零售商品貨架圖片，商品種類超過2000種，該資料集是目前零售類資料集中產品種類數量TOP1，同時所有圖片均來自於真實場景下的人工採集，針對每種商品，品覽提供了十分詳細的標註。

此外，ColugoMum也收集整理了業內SKU級別的商品影象資料集，並期待和開發者們一道， 開源出能夠在業內有影響力、符合實際場景應用需求的資料集。

http://github.com/ColugoMum/Dataset

並且，ColugoMum團隊開源了基於RP2K資料集的高精度訓練模型和預測模型。開發者可以在提供的訓練模型上基於自己的資料進行微調，也可以使用提供的預測模型直接進行預測體驗。同時，ColugoMum也開啟了基於RP2K的打榜活動，歡迎開發者們參與。

http://github.com/ColugoMum/Exprements

部署方面使用飛槳服務化部署框架Paddle Serving[4]進行部署，滿足使用者批量預測、資料安全性高、延遲低的需求，在CPU上僅需0.2秒即可實現預測效果，真正做到預測速度與精度的極致平衡。

為了方便開發者們更好地理解PP-ShiTu、更好地利用其在影象識別領域的優勢，ColugoMum團隊開源了基於影象識別的智慧零售商品識別教程，開發者可以在此基礎上使用PP-ShiTu快速對接業務。

http://github.com/ColugoMum/Goods_Recognition

基於上述核心技術，目前ColugoMum團隊利用PP-ShiTu技術，開源了雲邊一體、符合實際場景應用需求的商品識別Smart_container。其能夠精準地定位顧客購買的商品，並進行智慧化、自動化的價格結算。

http://github.com/ColugoMum/Smart_container

當顧客將自己選購的商品放置在制定區域內時，Smart_container能夠精準地定位識別每一個商品，並且能夠返回完整的購物清單及顧客應付的實際商品總價格。而當系統有新商品增加時，只需更新檢索庫即可，無需重新訓練模型。Smart_container覆蓋硬體結算臺、小程式管理平臺、大資料視覺化平臺，實現了多端統一，智慧管理。

核心開發團隊

顏鑫，華東理工大學自動化專業大三在讀，研究方向為多機器人的協同控制與決策，主要興趣點為計算機視覺、強化學習、推理部署。飛槳開發者技術專家、Datawhale成員、華為雲享專家、國家級大學生創新創業專案第一主持人，曾獲第十三屆“挑戰杯”大學生創業計劃競賽上海市銅獎、華東理工大學第十屆“奮進杯”大學生創業計劃競賽金獎、擁有兩篇軟體著作權、一篇國際會議論文。

沈晨，華東理工大學資訊工程專業大三在讀，曾獲得 CRAIC 中國機器人及人工智慧大賽上海市二等獎、上海市大學生計算機應用能力設計大賽上海市二等獎，華東理工大學第十屆“奮進杯”大學生創業計劃競賽金獎，參與多個大型優秀開源專案，擁有軟體著作權兩篇，曾在IEEE國際會議發表論文一篇，另有一項實用新型專利正在受理。曾任資訊學院團委組織部副部長，獲得校優秀獎學金和優秀學生先進稱號。

杜旭東，華東理工大學資訊工程專業大三在讀，熟練掌握C/C++/Python/Jave/Matlab/verilog等多種程式語言，上海市大學生計算機應用能力設計大賽上海市二等獎，參與多個大型優秀開源專案，擁有軟體著作權兩篇，一項實用新型專利正在受理。曾任資訊學院社團管理部副部長，獲得校優秀獎學金。

在這裡，我們向曾參與ColugoMum專案研發的同學表示感謝：黃小悅、王鑫、趙禕安、周天奕、申佳川等，向為ColugoMum提供幫助的 Datawhale組織 、 飛槳社群 和 啟智社群 表示感謝! 我們歡迎更多開發者共同參與零售商品識別資料集、商品識別打榜以及Smart Container的開源共建活動，共同促進AI開源開放生態體系建設，推動我國實體零售向數字化、智慧化方向轉型發展。

未來，ColugoMum團隊會不斷打破產品和技術邊界，依託開源社群，開源出更多更好的、能真正賦能實體零售的開源專案，真正推動我國實體零售向智慧化、數字化轉型，實現ColugoMum“降本增效、賦能零售”的使命。

參考文獻 ：

1.http://github.com/PaddlePaddle/PaddleClas

2.S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021.

3.J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020.

4.http://github.com/PaddlePaddle/Serving