Android AVDemo（11）：影片轉封裝，從 MP4 到 MP4丨音影片工程示例

iOS/Android 客戶端開發同學如果想要開始學習音影片開發，最絲滑的方式是對音影片基礎概念知識有一定了解後，再借助 iOS/Android 平臺的音影片能力上手去實踐音影片的 採集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染 過程，並藉助音影片工具來分析和理解對應的音影片資料。

在音影片工程示例這個欄目，我們將通過拆解 採集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染 流程並實現 Demo 來向大家介紹如何在 iOS/Android 平臺上手音影片開發。

這裡是 Android 第十一篇： Android 影片轉封裝 Demo 。這個 Demo 裡包含以下內容：

• 1）實現一個音影片解封裝模組；

• 2）實現一個音影片封裝模組；

• 3）實現對 MP4 檔案中音影片的解封裝邏輯，將解封裝後的音影片編碼資料重新封裝儲存為一個新的 MP4 檔案；

• 4）詳盡的程式碼註釋，幫你理解程式碼邏輯和原理。

在本文中，我們將詳解一下 Demo 的具體實現和原始碼。讀完本文內容相信就能幫你掌握相關知識。

1、音影片解封裝模組

影片編碼模組即 KFMP4Demuxer ，複用了 《Android 音訊解封裝 Demo》 中介紹的 demuxer，這裡就不再重複介紹了，其介面如下：

KFMP4Demuxer.java

public class KFMP4Demuxer {
    public KFMP4Demuxer(KFDemuxerConfig config, KFDemuxerListener listener); ///< 構造方法：配置 & 回撥。
    public void release(); ///< 釋放解封裝器例項。
    public boolean hasVideo(); ///< 是否包含影片。
    public boolean hasAudio(); ///< 是否包含音訊。
    public int duration(); ///< 檔案時長。
    public int rotation(); ///< 影片旋轉角度。
    public boolean isHEVC(); ///< 是否為 H265。
    public int width(); ///< 影片寬度。
    public int height(); ///< 影片高度。
    public int samplerate(); ///< 音訊取樣率。
    public int channel(); ///< 音訊聲道數。
    public int audioProfile(); ///< 音訊 profile。
    public int videoProfile(); ///< 影片 profile。
    public MediaFormat audioMediaFormat(); ///< 音訊格式描述。
    public MediaFormat videoMediaFormat(); //< 影片格式描述。
    public ByteBuffer readAudioSampleData(MediaCodec.BufferInfo bufferInfo); ///< 讀取音訊幀。
    public ByteBuffer readVideoSampleData(MediaCodec.BufferInfo bufferInfo); ///< 讀取影片幀。
}

2、音影片封裝模組

影片編碼模組即 KFMP4Muxer ，複用了 《Android 音訊封裝 Demo》 中介紹的 muxer，這裡就不再重複介紹了，其介面如下：

KFMP4Muxer.java

public class KFMP4Muxer {
 public KFMP4Muxer(KFMuxerConfig config, KFMuxerListener listener); ///< 構造方法，配置、回撥。
    public void start(); ///< 開始。
    public void stop(); ///< 關閉。
    public void setVideoMediaFormat(MediaFormat mediaFormat); ///< 設定音訊描述。
    public void setAudioMediaFormat(MediaFormat mediaFormat); ///< 設定影片描述。
    public void writeSampleData(boolean isVideo, ByteBuffer buffer, MediaCodec.BufferInfo bufferInfo); ///< 寫入音影片資料(編碼後資料)。
    public void release(); ///< 清理。
}

3、音影片轉封裝邏輯

我們還是在一個 MainActivity 中來實現對 MP4 檔案中音影片的解封裝邏輯，然後將解封裝後的音影片編碼資料重新封裝儲存為一個新的 MP4 檔案。

MainActivity.java

public class MainActivity extends AppCompatActivity {
    private KFMP4Demuxer mDemuxer; ///< 解封裝器。
    private KFDemuxerConfig mDemuxerConfig; ///< 解封裝配置。
    private KFMP4Muxer mMuxer; ///< 封裝器。
    private KFMuxerConfig mMuxerConfig; ///< 封裝配置。

    @RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);

        ///< 申請採集儲存許可權。
        if (ActivityCompat.checkSelfPermission(this, Manifest.permission.RECORD_AUDIO) != PackageManager.PERMISSION_GRANTED || ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED ||
                ActivityCompat.checkSelfPermission(this, Manifest.permission.READ_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED ||
                ActivityCompat.checkSelfPermission(this, Manifest.permission.WRITE_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED) {
            ActivityCompat.requestPermissions((Activity) this,
                    new String[] {Manifest.permission.CAMERA,Manifest.permission.RECORD_AUDIO, Manifest.permission.READ_EXTERNAL_STORAGE, Manifest.permission.WRITE_EXTERNAL_STORAGE},
                    1);
        }

        ///< 解封裝配置，控制僅輸出影片。
        mDemuxerConfig = new KFDemuxerConfig();
        mDemuxerConfig.path = Environment.getExternalStorageDirectory().getPath() + "/2.mp4";
        mDemuxerConfig.demuxerType = KFMediaBase.KFMediaType.KFMediaAV;

        ///< 建立封裝配置。
        mMuxerConfig = new KFMuxerConfig(Environment.getExternalStorageDirectory().getPath() + "/test.mp4");

        FrameLayout.LayoutParams startParams = new FrameLayout.LayoutParams(200, 120);
        startParams.gravity = Gravity.CENTER_HORIZONTAL;
        Button startButton = new Button(this);
        startButton.setTextColor(Color.BLUE);
        startButton.setText("開始");
        startButton.setVisibility(View.VISIBLE);
        startButton.setOnClickListener(new View.OnClickListener() {
            @Override
            public void onClick(View view) {
                ///< 建立解封裝與封裝。
                if (mDemuxer == null) {
                    mDemuxer = new KFMP4Demuxer(mDemuxerConfig,mDemuxerListener);
                    mMuxer = new KFMP4Muxer(mMuxerConfig,mMuxerListener);
                    mMuxer.start();
                    ///< 設定格式描述。
                    mMuxer.setVideoMediaFormat(mDemuxer.videoMediaFormat());
                    mMuxer.setAudioMediaFormat(mDemuxer.audioMediaFormat());

                    ///< 迴圈讀取音影片資料寫入封裝器。
                    MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
                    ByteBuffer videoNextBuffer = mDemuxer.readVideoSampleData(videoBufferInfo);

                    MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();
                    ByteBuffer audioNextBuffer = mDemuxer.readAudioSampleData(audioBufferInfo);
                    while (audioNextBuffer != null || videoNextBuffer != null) {
                        if (audioNextBuffer != null) {
                            mMuxer.writeSampleData(false,audioNextBuffer,audioBufferInfo);
                            audioNextBuffer = mDemuxer.readAudioSampleData(audioBufferInfo);
                        }

                        if (videoNextBuffer != null) {
                            mMuxer.writeSampleData(true,videoNextBuffer,videoBufferInfo);
                            videoNextBuffer = mDemuxer.readVideoSampleData(videoBufferInfo);
                        }
                    }
                    mMuxer.stop();
                    Log.i("KFDemuxer","complete");
                }
            }
        });
        addContentView(startButton, startParams);
    }

    private KFDemuxerListener mDemuxerListener = new KFDemuxerListener() {
        @Override
        ///< 解封裝出錯回撥。
        public void demuxerOnError(int error, String errorMsg) {
            Log.i("KFDemuxer","error" + error + "msg" + errorMsg);
        }
    };

    private KFMuxerListener mMuxerListener = new KFMuxerListener() {
        @Override
        ///< 封裝器出錯回撥。
        public void muxerOnError(int error, String errorMsg) {
            Log.e("KFMuxer","error:" + error + "msg:" +errorMsg);
        }
    };
}

上面是 MainActivity 的實現，其中主要包含這幾個部分：

• 1）設定好待解封裝的資源。

• 在 中實現，我們這裡是一個 MP4 檔案。

• 2）啟動封裝器。

• 在 中實現。

• 設定音影片格式描述。

• 3）讀取解封裝後的音影片編碼資料並送給封裝器進行重新封裝。

• 在 中實現。

4、用工具播放 MP4 檔案

完成 Demo 後，可以將 sdcard 資料夾下面的 test.mp4 檔案拷貝到電腦上，使用 ffplay 播放來驗證一下效果是否符合預期：

$ ffplay -i test.mp4

關於播放 MP4 檔案的工具，可以參考 《FFmpeg 工具》第 2 節 ffplay 命令列工具 和 《視覺化音影片分析工具》第 3.5 節 VLC 播放器 。

我們還可以用 《視覺化音影片分析工具》第 3.1 節 MP4Box.js 等工具來檢視它的格式。