JavaCV的攝像頭實戰之十四：口罩檢測_程式設計師欣宸

一起養成寫作習慣！這是我參與「掘金日新計劃 · 4 月更文挑戰」的第10天，點選檢視活動詳情。

歡迎訪問我的GitHub

這裡分類和彙總了欣宸的全部原創(含配套原始碼)：https://github.com/zq2599/blog_demos

本篇概覽

本文是《JavaCV的攝像頭實戰》系列的第十四篇，如標題所說，今天的功能是檢測攝像頭內的人是否帶了口罩，把檢測結果實時標註在預覽視窗，如下圖所示：
整個處理流程如下，實現口罩檢測的關鍵是將圖片提交到百度AI開放平臺，然後根據平臺返回的結果在本地預覽視窗標識出人臉位置，以及此人是否帶了口罩：

問題提前告知

依賴雲平臺處理業務的一個典型問題，就是處理速度受限
首先，如果您在百度AI開放平臺註冊的賬號是個人型別，那麼免費的介面呼叫會被限制到一秒鐘兩次，如果是企業型別賬號，該限制是十次
其次，經過實測，一次人臉檢測介面耗時300ms以上
最終，實際上一秒鐘只能處理兩幀，這樣的效果在預覽視窗展現出來，就只能是幻燈片效果了（低於每秒十五幀就能感受到明顯的卡頓）
因此，本文只適合基本功能展示，無法作為實際場景的解決方案

關於百度AI開放平臺

為了正常使用百度AI開放平臺的服務，您需要完成一些註冊和申請操作，詳情請參考《最簡單的人臉檢測（免費呼叫百度AI開放平臺介面）》
現在，如果您完成了百度AI開放平臺的註冊和申請，那麼，現在手裡應該有可用的access_token，那麼現在可以開始編碼了

編碼：新增依賴庫

本文繼續使用《JavaCV的攝像頭實戰之一：基礎》建立的simple-grab-push工程
首先是在pom.xml中增加okhttp和jackson依賴，分別用於網路請求和JSON解析： xml <dependency> <groupId>com.squareup.okhttp3</groupId> <artifactId>okhttp</artifactId> <version>3.10.0</version> </dependency> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.11.0</version> </dependency>

編碼：封裝請求和響應百度AI開放平臺的程式碼

接下來要開發一個服務類，這個服務類封裝了所有和百度AI開放平臺相關的程式碼
首先，定義web請求的request物件FaceDetectRequest.java： ```java @Data public class FaceDetectRequest { // 圖片資訊(總資料大小應小於10M)，圖片上傳方式根據image_type來判斷 String image;

// 圖片型別 // BASE64:圖片的base64值，base64編碼後的圖片資料，編碼後的圖片大小不超過2M； // URL:圖片的 URL地址( 可能由於網路等原因導致下載圖片時間過長)； // FACE_TOKEN: 人臉圖片的唯一標識，呼叫人臉檢測介面時，會為每個人臉圖片賦予一個唯一的FACE_TOKEN，同一張圖片多次檢測得到的FACE_TOKEN是同一個。 @JsonProperty("image_type") String imageType;

// 包括age,expression,face_shape,gender,glasses,landmark,landmark150,quality,eye_status,emotion,face_type,mask,spoofing資訊 //逗號分隔. 預設只返回face_token、人臉框、概率和旋轉角度 @JsonProperty("face_field") String faceField;

// 最多處理人臉的數目，預設值為1，根據人臉檢測排序型別檢測圖片中排序第一的人臉（預設為人臉面積最大的人臉），最大值120 @JsonProperty("max_face_num") int maxFaceNum;

// 人臉的型別 // LIVE表示生活照：通常為手機、相機拍攝的人像圖片、或從網路獲取的人像圖片等 // IDCARD表示身份證晶片照：二代身份證內建晶片中的人像照片 // WATERMARK表示帶水印證件照：一般為帶水印的小圖，如公安網小圖 // CERT表示證件照片：如拍攝的身份證、工卡、護照、學生證等證件圖片 // 預設LIVE @JsonProperty("face_type") String faceType;

// 活體控制檢測結果中不符合要求的人臉會被過濾 // NONE: 不進行控制 // LOW:較低的活體要求(高通過率低攻擊拒絕率) // NORMAL: 一般的活體要求(平衡的攻擊拒絕率, 通過率) // HIGH: 較高的活體要求(高攻擊拒絕率低通過率) // 預設NONE @JsonProperty("liveness_control") String livenessControl;

// 人臉檢測排序型別 // 0:代表檢測出的人臉按照人臉面積從大到小排列 // 1:代表檢測出的人臉按照距離圖片中心從近到遠排列 // 預設為0 @JsonProperty("face_sort_type") int faceSortType; } - 其次，定義web響應物件FaceDetectResponse.java：java @Data @ToString public class FaceDetectResponse implements Serializable { // 返回碼 @JsonProperty("error_code") String errorCode; // 描述資訊 @JsonProperty("error_msg") String errorMsg; // 返回的具體內容 Result result;

@Data public static class Result { // 人臉數量 @JsonProperty("face_num") private int faceNum; // 每個人臉的資訊 @JsonProperty("face_list") List faceList;
```
/**
 * @author willzhao
 * @version 1.0
 * @description 檢測出來的人臉物件
 * @date 2022/1/1 16:03
 */
@Data
public static class Face {
    // 位置
    Location location;
    // 是人臉的置信度
    @JsonProperty("face_probability")
    double face_probability;
    // 口罩
    Mask mask;

    /**
     * @author willzhao
     * @version 1.0
     * @description 人臉在圖片中的位置
     * @date 2022/1/1 16:04
     */
    @Data
    public static class Location {
        double left;
        double top;
        double width;
        double height;
        double rotation;
    }

    /**
     * @author willzhao
     * @version 1.0
     * @description 口罩物件
     * @date 2022/1/1 16:11
     */
    @Data
    public static class Mask {
        int type;
        double probability;
    }
}
```
} } - 然後是服務類BaiduCloudService.java，把請求和響應百度AI開放平臺的邏輯全部集中在這裡，可見其實很簡單：根據圖片的base64字串構造請求物件、發POST請求（path是人臉檢測服務）、收到響應後用Jackson反序列化成FaceDetectResponse物件：java public class BaiduCloudService {

OkHttpClient client = new OkHttpClient();

static final MediaType JSON = MediaType.parse("application/json; charset=utf-8");

static final String URL_TEMPLATE = "https://aip.baidubce.com/rest/2.0/face/v3/detect?access_token=%s";

String token;

ObjectMapper mapper = new ObjectMapper();

public BaiduCloudService(String token) { this.token = token;
```
// 重要：反序列化的時候，字元的欄位如果比類的欄位多，下面這個設定可以確保反序列化成功
mapper.disable(DeserializationFeature.FAIL_ON_UNKNOWN_PROPERTIES);
```
}

/* * 檢測指定的圖片 * @param imageBase64 * @return / public FaceDetectResponse detect(String imageBase64) { // 請求物件 FaceDetectRequest faceDetectRequest = new FaceDetectRequest(); faceDetectRequest.setImageType("BASE64"); faceDetectRequest.setFaceField("mask"); faceDetectRequest.setMaxFaceNum(6); faceDetectRequest.setFaceType("LIVE"); faceDetectRequest.setLivenessControl("NONE"); faceDetectRequest.setFaceSortType(0); faceDetectRequest.setImage(imageBase64);
```
FaceDetectResponse faceDetectResponse = null;

try {
    // 用Jackson將請求物件序列化成字串
    String jsonContent = mapper.writeValueAsString(faceDetectRequest);

    //
    RequestBody requestBody = RequestBody.create(JSON, jsonContent);
    Request request = new Request
            .Builder()
            .url(String.format(URL_TEMPLATE, token))
            .post(requestBody)
            .build();
    Response response = client.newCall(request).execute();
    String rawRlt = response.body().string();
    faceDetectResponse = mapper.readValue(rawRlt, FaceDetectResponse.class);
} catch (IOException ioException) {
    ioException.printStackTrace();
}

return faceDetectResponse;
```
} } ``` - 服務類寫完了，接下來是主程式把整個邏輯串起來

DetectService介面的實現
- 熟悉《JavaCV的攝像頭實戰》系列的讀者應該對DetectService介面不陌生了，為了在整個系列的諸多實戰中以統一的風格實現抓取幀-->處理幀-->輸出處理結果這樣的流程，咱們定義了一個DetectService介面，每種不同幀處理業務按照自己的特點來實現此介面即可（例如人臉檢測、年齡檢測、性別檢測等）
- 先來回顧DetectService介面： ```java public interface DetectService {
/* * 根據傳入的MAT構造相同尺寸的MAT，存放灰度圖片用於以後的檢測 * @param src 原始圖片的MAT物件 * @return 相同尺寸的灰度圖片的MAT物件 / static Mat buildGrayImage(Mat src) { return new Mat(src.rows(), src.cols(), CV_8UC1); }

/* * 檢測圖片，將檢測結果用矩形標註在原始圖片上 * @param classifier 分類器 * @param converter Frame和mat的轉換器 * @param rawFrame 原始視訊幀 * @param grabbedImage 原始視訊幀對應的mat * @param grayImage 存放灰度圖片的mat * @return 標註了識別結果的視訊幀 / static Frame detect(CascadeClassifier classifier, OpenCVFrameConverter.ToMat converter, Frame rawFrame, Mat grabbedImage, Mat grayImage) {
```
// 當前圖片轉為灰度圖片
cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);

// 存放檢測結果的容器
RectVector objects = new RectVector();

// 開始檢測
classifier.detectMultiScale(grayImage, objects);

// 檢測結果總數
long total = objects.size();

// 如果沒有檢測到結果，就用原始幀返回
if (total<1) {
    return rawFrame;
}

// 如果有檢測結果，就根據結果的資料構造矩形框，畫在原圖上
for (long i = 0; i < total; i++) {
    Rect r = objects.get(i);
    int x = r.x(), y = r.y(), w = r.width(), h = r.height();
    rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);
}

// 釋放檢測結果資源
objects.close();

// 將標註過的圖片轉為幀，返回
return converter.convert(grabbedImage);
```
}

/* * 初始化操作，例如模型下載 * @throws Exception / void init() throws Exception;

/* * 得到原始幀，做識別，新增框選 * @param frame * @return / Frame convert(Frame frame);

/* * 釋放資源 / void releaseOutputResource(); } - 再來看看本次實戰中DetectService介面的實現類BaiduCloudDetectService.java，有幾處要注意的地方稍後會提到：java @Slf4j public class BaiduCloudDetectService implements DetectService {

/* * 每一幀原始圖片的物件 / private Mat grabbedImage = null;

/* * 百度雲的token / private String token;

/* * 圖片的base64字串 / private String base64Str;

/* * 百度雲服務 / private BaiduCloudService baiduCloudService;

private OpenCVFrameConverter.ToMat openCVConverter = new OpenCVFrameConverter.ToMat();

private Java2DFrameConverter java2DConverter = new Java2DFrameConverter();

private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();

private BASE64Encoder encoder = new BASE64Encoder();

/* * 構造方法，在此指定模型檔案的下載地址 * @param token / public BaiduCloudDetectService(String token) { this.token = token; }

/* * 百度雲服務物件的初始化 * @throws Exception / @Override public void init() throws Exception { baiduCloudService = new BaiduCloudService(token); }

@Override public Frame convert(Frame frame) { // 將原始幀轉成base64字串 base64Str = frame2Base64(frame);
```
// 記錄請求開始的時間
long startTime = System.currentTimeMillis();

// 交給百度雲進行人臉和口罩檢測
FaceDetectResponse faceDetectResponse = baiduCloudService.detect(base64Str);

// 如果檢測失敗，就提前返回了
if (null==faceDetectResponse
 || null==faceDetectResponse.getErrorCode()
 || !"0".equals(faceDetectResponse.getErrorCode())) {
    String desc = "";
    if (null!=faceDetectResponse) {
        desc = String.format("，錯誤碼[%s]，錯誤資訊[%s]", faceDetectResponse.getErrorCode(), faceDetectResponse.getErrorMsg());
    }

    log.error("檢測人臉失敗", desc);

    // 提前返回
    return frame;
}

log.info("檢測耗時[{}]ms，結果：{}", (System.currentTimeMillis()-startTime), faceDetectResponse);

// 如果拿不到檢測結果，就返回原始幀
if (null==faceDetectResponse.getResult()
|| null==faceDetectResponse.getResult().getFaceList()) {
    log.info("未檢測到人臉");
    return frame;
}

// 取出百度雲的檢測結果，後面會逐個處理
List<FaceDetectResponse.Result.Face> list = faceDetectResponse.getResult().getFaceList();
FaceDetectResponse.Result.Face face;
FaceDetectResponse.Result.Face.Location location;
String desc;
Scalar color;
int pos_x;
int pos_y;

// 如果有檢測結果，就根據結果的資料構造矩形框，畫在原圖上
for (int i = 0; i < list.size(); i++) {
    face = list.get(i);

    // 每張人臉的位置
    location = face.getLocation();

    int x = (int)location.getLeft();
    int y = (int)location.getHeight();
    int w = (int)location.getWidth();
    int h = (int)location.getHeight();

    // 口罩欄位的type等於1表示帶口罩，0表示未帶口罩
    if (1==face.getMask().getType()) {
        desc = "Mask";
        color = Scalar.GREEN;
    } else {
        desc = "No mask";
        color = Scalar.RED;
    }

    // 在圖片上框出人臉
    rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), color, 1, CV_AA, 0);

    // 人臉標註的橫座標
    pos_x = Math.max(x-10, 0);
    // 人臉標註的縱座標
    pos_y = Math.max(y-10, 0);

    // 給人臉做標註，標註是否佩戴口罩
     putText(grabbedImage, desc, new Point(pos_x, pos_y), FONT_HERSHEY_PLAIN, 1.5, color);
}

// 將標註過的圖片轉為幀，返回
return converter.convert(grabbedImage);
```
}

/* * 程式結束前，釋放人臉識別的資源 / @Override public void releaseOutputResource() { if (null!=grabbedImage) { grabbedImage.release(); } }

private String frame2Base64(Frame frame) { grabbedImage = converter.convert(frame); BufferedImage bufferedImage = java2DConverter.convert(openCVConverter.convert(grabbedImage)); ByteArrayOutputStream bStream = new ByteArrayOutputStream(); try { ImageIO.write(bufferedImage, "png", bStream); } catch (IOException e) { throw new RuntimeException("bugImg讀取失敗:"+e.getMessage(),e); }
```
return encoder.encode(bStream.toByteArray());
```
} } ``` - 上述程式碼有以下幾點要注意： 1. 整個BaiduCloudDetectService類，主要是對前面BaiduCloudService類的使用 2. convert方法中，拿到frame例項後會轉為base64字串，用於提交到百度AI開放平臺做人臉檢測 3. 百度AI開放平臺的檢測結果中有多個人臉檢測結果，這裡要逐個處理：取出每個人臉的位置，以此位置在原圖畫矩形框，然後根據是否戴口罩在人臉上做標記，戴口罩的是綠色標記（包括矩形框），不戴口罩的是紅色矩形框

主程式
- 最後是主程式了，還是《JavaCV的攝像頭實戰》系列的套路，咱們來看看主程式的服務類定義好的框架
- 《JavaCV的攝像頭實戰之一：基礎》建立的simple-grab-push工程中已經準備好了父類AbstractCameraApplication，所以本篇繼續使用該工程，建立子類實現那些抽象方法即可
- 編碼前先回顧父類的基礎結構，如下圖，粗體是父類定義的各個方法，紅色塊都是需要子類來實現抽象方法，所以接下來，咱們以本地視窗預覽為目標實現這三個紅色方法即可：
- 新建檔案PreviewCameraWithBaiduCloud.java，這是AbstractCameraApplication的子類，其程式碼很簡單，接下來按上圖順序依次說明
- 先定義CanvasFrame型別的成員變數previewCanvas，這是展示視訊幀的本地視窗： java protected CanvasFrame previewCanvas
- 把前面建立的DetectService作為成員變數，後面檢測的時候會用到： ```java /**
- 檢測工具介面 */ private DetectService detectService; ```
- PreviewCameraWithBaiduCloud的構造方法，接受DetectService的例項： ```java /**
- 不同的檢測工具，可以通過構造方法傳入
- @param detectService */ public PreviewCameraWithBaiduCloud(DetectService detectService) { this.detectService = detectService; } ```
- 然後是初始化操作，可見是previewCanvas的例項化和引數設定，還有檢測、識別的初始化操作： ```java @Override protected void initOutput() throws Exception { previewCanvas = new CanvasFrame("攝像頭預覽", CanvasFrame.getDefaultGamma() / grabber.getGamma()); previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE); previewCanvas.setAlwaysOnTop(true);
  
  // 檢測服務的初始化操作 detectService.init(); } - 接下來是output方法，定義了拿到每一幀視訊資料後做什麼事情，這裡呼叫了detectService.convert檢測人臉並識別性別，然後在本地視窗顯示：java @Override protected void output(Frame frame) { // 原始幀先交給檢測服務處理，這個處理包括物體檢測，再將檢測結果標註在原始圖片上， // 然後轉換為幀返回 Frame detectedFrame = detectService.convert(frame); // 預覽視窗上顯示的幀是標註了檢測結果的幀 previewCanvas.showImage(detectedFrame); } - 最後是處理視訊的迴圈結束後，程式退出前要做的事情，先關閉本地視窗，再釋放檢測服務的資源：java @Override protected void releaseOutputResource() { if (null!= previewCanvas) { previewCanvas.dispose(); }
  
  // 檢測工具也要釋放資源 detectService.releaseOutputResource(); } - 每一幀耗時太多，所以兩幀之間就不再額外間隔了：java @Override protected int getInterval() { return 0; } - 至此，功能已開發完成，再寫上main方法，程式碼如下，請注意token的值是前面在百度AI開放平臺取得的access_token：java public static void main(String[] args) { String token = "21.xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx.xxxxxxx.xxxxxxxxxx.xxxxxx-xxxxxxxx"; new PreviewCameraWithBaiduCloud(new BaiduCloudDetectService(token)).action(1000); } ``` - 至此，程式碼寫完了，準備好攝像頭開始驗證，群眾演員為了免費盒飯已經在寒風中等了很久啦
  
  驗證
  - 執行PreviewCameraWithBaiduCloud的main方法，請群眾演員出現在攝像頭前面，此時不戴口罩，可見人臉上是紅色字型和矩形框：
讓群眾演員戴上口罩，再次出現在攝像頭前面，這次檢測到了口罩，顯示了綠色標註和矩形框：
實際體驗中，由於一秒鐘最多隻有兩幀，在預覽視窗展示時完全是幻燈片效果，慘不忍睹...
本篇部落格使用了群眾演員兩張照片，所以被他領走了兩份盒飯，欣宸很心疼...
至此，基於JavaCV和百度AI開放平臺實現的口罩檢測功能已完成，希望您繼續關注《JavaCV的攝像頭實戰》系列，之後的實戰更精彩

歡迎關注掘金：程式設計師欣宸

學習路上，你不孤單，欣宸原創一路相伴...

JavaCV的攝像頭實戰之十四：口罩檢測

歡迎訪問我的GitHub

本篇概覽

問題提前告知

關於百度AI開放平臺

編碼：新增依賴庫

編碼：封裝請求和響應百度AI開放平臺的程式碼

DetectService介面的實現

主程式

驗證

歡迎關注掘金：程式設計師欣宸