深圳大學MUSIC實驗室推出一款軟體神器，大大提升醫學影像AI標註的質量與一致性

語言: CN / TW / HK

時間 2022-04-21 19:04:00 雷鋒網

醫生專家的手動標註是醫學影像AI研究的基石。標註軟體需要儘可能節省醫生手動標註的耗時，減少醫生標註的痛苦，並幫助醫生提高標註的質量與一致性。作為首款國產一站式醫學影像標註軟體，Pair軟體具備專業便捷、通用易用且智慧化的特點。

據瞭解，Pair由深圳大學醫學超聲影像計算實驗室（Medical Ultrasound Image Computing Lab, MUSIC) 的倪東教授和楊鑫博士等帶隊研發。團隊成員10餘人，Pair軟體歷時近3年研發，仍在持續大幅優化中。Pair定位於解決醫學影像標註軟體長期存在的問題，致力於成為最優秀、最專業、最懂醫生的國產醫學影像標註軟體。Pair自2020年7月於MICS大會公開以來，得到了很多前輩老師的重要指導和批評意見，確立了更多值得解決的問題。Pair目前已基本完成第一階段基礎標註功能的開發，即將進入第二階段的全面智慧化，同時進一步豐富基礎標註功能。

此次將對Pair在2021年的重要更新做系統整理與呈現。Pair軟體的核心功能亮點如下：

Pair標註功能展示

研究專案通用，相容各種影像模態和檔案格式

Pair可相容CT、X-Ray、MRI、PET、超聲、病理切片、細胞塗片等10餘種影像模態，相容2D、影片、3D、病理、訊號、放療勾畫檔案等20餘種檔案格式。所有醫學影像AI研究專案可通過Pair完成標註，無需在不同專案間頻繁、耗時費力地切換、培訓不同的標註軟體。

標註功能豐富，覆蓋諸多影像AI研究的標註需求

Pair提供測量線、角度、多邊形、曲線、曲面、矩形框、關鍵點、分類標籤、文字屬性、時間軸、切面等20多項標註功能，涵蓋測量、分割、分類、目標檢測、關鍵點定位、動作預測等常見影像AI分析所需的標註型別。更重要的，Pair支援標註功能與型別的混合使用，充分適應複雜的研究與標註需求。

智慧輔助標註，讓醫生從繁重的手動標註中解脫

Pair提供多層次的智慧化輔助標註功能，可大幅減輕醫生的手動標註工作量。Pair提供閾值分割、魔術棒、曲線擬合、矩形框跟蹤、標籤記憶/複製等自動化輔助標註功能。Pair尤其配備獨有的使用者自定義AI標註和通用智慧分割標註AutoSeg。兩項功能均可搭載深度學習模型，僅需普通電腦CPU，即可實現對解剖結構的一鍵式智慧標註。

標註流程規範化，支援大規模影像標註任務

Pair提供標註標籤的配置和管理功能，可有效避免標註者因誤操作或個人習慣而引發的標籤錯用和標註功能誤用，從而實現標註流程的規範化，有效降低標註結果的噪聲。Pair通過優化記憶體管理，可支援同時匯入超1000例影像檔案進行標註，支援2萬幀的超大影片檔案標註，支援2GB以上病理影像檔案的標註。

病例隱私脫敏和影像加密，為研究專案提供安全保障

病例的隱私和影像是AI研究的寶貴資源，且面臨日益嚴重的洩露風險。通用易用的隱私脫敏工具和支援加密的標註軟體仍舊缺乏。Pair因此提供了完善的脫敏功能、多層許可權的高階加解密標註功能，以實現病例隱私、醫學影像以及標註資源的多重安全。

簡潔易用的工作流，持續完善和豐富的教程用例資源

Pair擁有簡潔和直覺化的標註邏輯設計，以方便醫生快速入手並減少標註互動的耗時。Pair提供詳細的文件說明及影片演示，便於使用者快速熟悉軟體的操作流程，節省標註的培訓耗時。截止目前，Pair已更新15期製作精良的影片教程，並將陸續邀請多位醫生專家分享使用Pair做高效標註的案例。

Pair與現有標註軟體的功能對比

截止目前，Pair已基本完成基礎功能框架的研發，正在朝全面智慧化的方向快速前進，以進一步減輕醫生手動標註的痛苦。Pair保持高頻的更新優化進度，追求對標註功能設計的極致專業，致力於成為基礎重要軟體。Pair在2021年內已進行如下多項重要功能的更新與優化：

通用智慧分割標註AutoSeg
使用者自定義AI模型的輔助標註
影片時間軸事件標註
多模態影像互補標註
全面支援放療勾畫的DICOM RT Struct
病例隱私脫敏和影像資訊保安化軟體PairCode
實現Windows / Ubuntu / CentOS版本

下面我們將詳細介紹各大重要功能更新（備註：本文所示所有醫學影像均已做隱私資訊脫敏處理）：

AutoSeg --- 通用的一鍵式智慧分割精細標註

精細的分割標註是醫學影像標註中最為耗時的任務。不同的影像模態、解剖結構和病灶需要不同專業與資質的醫生進行繁重的逐點分割標註。為解決上述關鍵問題，Pair團隊研發了重磅的智慧功能AutoSeg，旨在實現通用的解剖結構精細分割標註，大幅節省手動標註的耗時，進而推動AI影像研究的快速實現與普及。AutoSeg的優勢特性如下：

無需任何配置，簡單直接、方便易用
無需區分影像模態、解剖結構、病灶型別
1秒完成，普通膝上型電腦即可使用
一鍵框定操作，實現精細分割標註

據統計，使用Pair的AutoSeg自動分割標註功能，可節省約70%的分割標註耗時。Pair基於華為開源的深度學習平臺MindSpore實現該功能，以MindSpore Lite完成最終部署。MindSpore Lite中高效的核心運算元實現可以充分發揮普通CPU的硬體算力，有效平衡了模型算力需求和模型精度要求，使得推理耗時縮短至1秒內，極大地提升了AutoSeg的使用者體驗。

AutoSeg已在CT，MRI，超聲，X-ray，PET，掃描電鏡，病理，塗片，內窺鏡等影像模態的多種解剖結構和病灶上驗證和使用。AutoSeg的標註結果可便捷編輯修改，以方便使用者微調和快速確認。如下是AutoSeg在多樣化的影像和解剖結構上的應用展示：

AutoSeg功能對腹部、胸部CT影像的標註示例一

AutoSeg功能對肝臟CT影像的標註示例二

AutoSeg功能對脊柱CT影像的標註展示

AutoSeg功能對超聲影像的標註展示

AutoSeg功能對腦部MRI影像的標註展示

AutoSeg功能對肺部X光影像的標註展示

AutoSeg功能對細胞塗片、切片的標註展示

AutoSeg功能對細胞切片的標註展示

AutoSeg功能對腸鏡影像的標註展示

AIA --- 使用者自定義AI模型的輔助標註

AIA是Pair獨有的一鍵AI推理功能，無論是分類、分割、點定位、目標檢測以及多工等，使用者僅需提供自定義AI模型，點選AI按鈕即可快速自動生成輔助標註，微調標註結果便完成標註工作，節省標註時間，加快工作流程。目前，Pair的AIA輔助標註功能可支援谷歌的Tensorflow和臉書的Pytorch深度學習平臺，支援超過50種深度學習網路模型架構。Pair近期也添加了對國產的華為MindSpore深度學習框架模型的支援。

豐富的AI功能，包括分割、點定位、例項分割和檢測

影片時間軸屬性標註

醫學影片影像通常由不同事件的影像片段沿時間軸構成，不同片段會具有不同屬性的標註需求，如心臟在心動週期的不同動作、手術器械在手術不同階段的動作型別等。目前鮮有標註軟體提供對醫學影片影像的時間軸標註功能。Pair提供的時間軸標註功能，通過便捷的互動設計，可快速對影片的任意片段進行多種屬性的標註，高效推動影片標註工作的進展。具體說來，在時間軸標註功能下，滑鼠右鍵拖動選中的標籤到時間軸上對應的幀，即可完成對改影片片段的屬性標註。Pair還提供時間軸跟隨功能，方便使用者觀察片段所屬的幀。若要修改標註，左鍵點選對應時間軸的端點進行拖動即可，操作方便。

影片時間軸標註

多模態影像互補標註

單一的影像模態使醫生對病灶的定位和標註存在明顯侷限性。通過多模態資訊的同步觀察與互補使用，有利於醫生準確標註病灶，如結合MRI中的T1與T2影像、多模態的超聲影像、PET和CT影像、不同熒光染色的細胞塗片影像等。Pair提供的多模態影像互補標註功能可在標註過程同步顯示不同模態的影像，降低醫生對目標區域的定位和輪廓勾畫的不確定度，有效幫助醫生進行識別和標註。Pair提供的多模態標註功能可相容二維、影片、三維和病理影象。

多模態影像互補標註過程

支援放療勾畫的DICOM RT Struct

鑑於放射科對AI研究的重大需求，Pair新增了對放射影像DICOM RT Structure檔案格式的全面支援。放射科醫生將TPS (Treatment Planning System)放療規劃系統中勾畫的放療靶區輪廓線以RT Struct格式匯出後，可直接在Pair中開啟，進行視覺化和進一步的標註優化。Pair可支援超1000條RT輪廓線的標註互動。Pair更可以將RT Struct內的輪廓線填充並匯出成分割標註結果檔案，如nii, nii.gz等格式，極大地方便放射科醫生使用專業的影像組學軟體，如TexRAD、MaZda等，進行後續的高階分析與研究。

PairCode --- 病例隱私脫敏和影像資訊保安化軟體

在醫學影像標註過程中，有效地保護患者隱私和確保標註資源的安全至關重要。現有的標註軟體在標註流程上往往存在較高安全風險：

影像未脫敏，病人隱私資訊無保護；
影像資源和標註結果資源存在高洩露風險；

為滿足保護病患隱私資訊和影像資源安全的需求，Pair提供了安全化輔助軟體PairCode，為影像標註任務提供全流程的加密防護，實現標註資源的雙重安全保護。PairCode提供如下兩方面的功能：

DICOM影像脫敏

醫學影像中，DICOM資料的標頭檔案往往存有患者的隱私敏感資訊。當原始資料在作為標註物件流動時，易發生患者隱私洩露。通過使用PairCode的資料脫敏功能，專案管理者可批量、自定義地擦除或修改敏感條目，如DICOM標頭檔案資訊中的患者資訊、檢查資訊等，以保護患者隱私。

具體地，在PairCode的脫敏功能中，DICOM標頭檔案中與隱私相關的資訊被細分為五部分，使用者可根據專案對標頭檔案資訊進行自定義的修改或刪除操作。同時，PairCode會提供脫敏資訊的查詢密碼本，記錄標頭檔案資訊的原始內容和修改後的內容，以便於後續的回溯工作。PairCode可支援超10GB批量影像檔案的處理。

標註資源加解密

為實現標註資源安全私有化、降低資源洩露風險，PairCode提供影像和標註的加解密功能，保障資料的安全流通：

專案管理者可對資源進行自定義加解密；
支援超過20種專業醫學影像格式的便捷加解密；
非對稱高階加密，使用者標註體驗零負擔。

PairCode提供公有加密和私有加密兩種加密方式，加密後的影像和標註結果的查詢和修改只能通過Pair軟體進行，以此來保障資料安全。使用PairCode對資料進行加密後，標註人員僅需載入配置檔案即可對加密影像進行標註工作，軟體也將自動對標註結果進行加密，無需額外的手動加密操作。

實現Windows / Ubuntu / CentOS版本

目前，Pair已實現了Windows 、Ubuntu和CentOS三種不同作業系統的版本，以滿足醫生、工程師和叢集伺服器的標註需求。使用者可自主選擇版本進行安裝與使用。通過Pair不同作業系統版本進行標註的結果，可使用其他系統進行檢視和修改，便於標註結果在專案小組成員間的流通。此外，Pair還設定了中英文兩種語言版本，便於不同語種的使用者進行使用。

專家使用者評語

蔡躍新教授，中山大學孫逸仙紀念醫院耳鼻喉科

“Pair軟體真正實現了科研專案間的通用化標註支援，是我們嘗試的其他標註軟體所不能比的。我們團隊的多個三維影像相關的AI研究專案，均採用Pair進行標註。專案開展期間，得到了Pair團隊的及時響應與積極支援。希望Pair軟體能發展得越來越好，更方便AI相關的研究，成為更多醫生喜歡的軟體。”

楊毅博士，四川大學華西醫院骨科

“我們的CT三維影像的標註在遇到Pair軟體後，得到了明顯的提速和提質，課題也得以很快開展。它的功能簡單直接，幾乎沒有學習難度，很多智慧化標註功能令我印象深刻。PairCode軟體也非常好地滿足了我們對大批量影像脫敏的專業需求。Pair團隊總是能很快處理我們提出的個性化需求，是很好的合作團隊。希望Pair可以幫助降低AI研究的門檻，幫助更多醫生更快更好地完成AI課題。”

張子健，醫學物理師，中南大學湘雅醫院腫瘤科

“在使用Pair軟體之前，我們的資料標註工作隨著不同的資料型別可能需要在不同的軟體之間切換，但一次偶然的相遇，讓我們團隊接觸到了Pair，它為我們團隊的多模態資料標註，尤其是CT-PET的放療勾畫，提供了一個一體化的平臺。Pair的使用簡單易上手，大家標註的效率得到了極大的提高。在開展專案的部分場景，由於需要一些個性化的功能，也能得到Pair團隊的充分支援。衷心希望Pair團隊能越做越好，越做越強。”