Android AVDemo(11):影片轉封裝,從 MP4 到 MP4丨音影片工程示例

語言: CN / TW / HK

塞尚《在諾曼底農場》

這個公眾號會 路線圖 式的遍歷分享音影片技術 音影片基礎(完成)  →  音影片工具(完成)  →  音影片工程示例(進行中)  →  音影片工業實戰(準備) 關注一下成本不高,錯過乾貨損失不小 ↓↓↓

iOS/Android 客戶端開發同學如果想要開始學習音影片開發,最絲滑的方式是對音影片基礎概念知識有一定了解後,再借助 iOS/Android 平臺的音影片能力上手去實踐音影片的 採集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染 過程,並藉助音影片工具來分析和理解對應的音影片資料。

在音影片工程示例這個欄目,我們將通過拆解 採集 → 編碼 → 封裝 → 解封裝 → 解碼 → 渲染 流程並實現 Demo 來向大家介紹如何在 iOS/Android 平臺上手音影片開發。

這裡是 Android 第十一篇: Android 影片轉封裝 Demo 。這個 Demo 裡包含以下內容:

  • 1)實現一個音影片解封裝模組;

  • 2)實現一個音影片封裝模組;

  • 3)實現對 MP4 檔案中音影片的解封裝邏輯,將解封裝後的音影片編碼資料重新封裝儲存為一個新的 MP4 檔案;

  • 4)詳盡的程式碼註釋,幫你理解程式碼邏輯和原理。

在本文中,我們將詳解一下 Demo 的具體實現和原始碼。讀完本文內容相信就能幫你掌握相關知識。

不過,如果你的需求是:1)直接獲得全部工程原始碼;2)想進一步諮詢音影片技術問題;3)諮詢音影片職業發展問題。可以根據自己的需要考慮是否加入『關鍵幀的音影片開發圈』。

長按識別二維碼→加入我們

1、音影片解封裝模組

影片編碼模組即 KFMP4Demuxer ,複用了 《Android 音訊解封裝 Demo》 中介紹的 demuxer,這裡就不再重複介紹了,其介面如下:

KFMP4Demuxer.java

public class KFMP4Demuxer {
public KFMP4Demuxer(KFDemuxerConfig config, KFDemuxerListener listener); ///< 構造方法:配置 & 回撥。
public void release(); ///< 釋放解封裝器例項。
public boolean hasVideo(); ///< 是否包含影片。
public boolean hasAudio(); ///< 是否包含音訊。
public int duration(); ///< 檔案時長。
public int rotation(); ///< 影片旋轉角度。
public boolean isHEVC(); ///< 是否為 H265。
public int width(); ///< 影片寬度。
public int height(); ///< 影片高度。
public int samplerate(); ///< 音訊取樣率。
public int channel(); ///< 音訊聲道數。
public int audioProfile(); ///< 音訊 profile。
public int videoProfile(); ///< 影片 profile。
public MediaFormat audioMediaFormat(); ///< 音訊格式描述。
public MediaFormat videoMediaFormat(); //< 影片格式描述。
public ByteBuffer readAudioSampleData(MediaCodec.BufferInfo bufferInfo); ///< 讀取音訊幀。
public ByteBuffer readVideoSampleData(MediaCodec.BufferInfo bufferInfo); ///< 讀取影片幀。
}

2、音影片封裝模組

影片編碼模組即 KFMP4Muxer ,複用了 《Android 音訊封裝 Demo》 中介紹的 muxer,這裡就不再重複介紹了,其介面如下:

KFMP4Muxer.java

public class KFMP4Muxer {
public KFMP4Muxer(KFMuxerConfig config, KFMuxerListener listener); ///< 構造方法,配置、回撥。
public void start(); ///< 開始。
public void stop(); ///< 關閉。
public void setVideoMediaFormat(MediaFormat mediaFormat); ///< 設定音訊描述。
public void setAudioMediaFormat(MediaFormat mediaFormat); ///< 設定影片描述。
public void writeSampleData(boolean isVideo, ByteBuffer buffer, MediaCodec.BufferInfo bufferInfo); ///< 寫入音影片資料(編碼後資料)。
public void release(); ///< 清理。
}

3、音影片轉封裝邏輯

我們還是在一個 MainActivity 中來實現對 MP4 檔案中音影片的解封裝邏輯,然後將解封裝後的音影片編碼資料重新封裝儲存為一個新的 MP4 檔案。

MainActivity.java

public class MainActivity extends AppCompatActivity {
private KFMP4Demuxer mDemuxer; ///< 解封裝器。
private KFDemuxerConfig mDemuxerConfig; ///< 解封裝配置。
private KFMP4Muxer mMuxer; ///< 封裝器。
private KFMuxerConfig mMuxerConfig; ///< 封裝配置。

@RequiresApi(api = Build.VERSION_CODES.LOLLIPOP)
@Override
protected void onCreate(Bundle savedInstanceState) {
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_main);

///< 申請採集儲存許可權。
if (ActivityCompat.checkSelfPermission(this, Manifest.permission.RECORD_AUDIO) != PackageManager.PERMISSION_GRANTED || ActivityCompat.checkSelfPermission(this, Manifest.permission.CAMERA) != PackageManager.PERMISSION_GRANTED ||
ActivityCompat.checkSelfPermission(this, Manifest.permission.READ_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED ||
ActivityCompat.checkSelfPermission(this, Manifest.permission.WRITE_EXTERNAL_STORAGE) != PackageManager.PERMISSION_GRANTED) {
ActivityCompat.requestPermissions((Activity) this,
new String[] {Manifest.permission.CAMERA,Manifest.permission.RECORD_AUDIO, Manifest.permission.READ_EXTERNAL_STORAGE, Manifest.permission.WRITE_EXTERNAL_STORAGE},
1);
}

///< 解封裝配置,控制僅輸出影片。
mDemuxerConfig = new KFDemuxerConfig();
mDemuxerConfig.path = Environment.getExternalStorageDirectory().getPath() + "/2.mp4";
mDemuxerConfig.demuxerType = KFMediaBase.KFMediaType.KFMediaAV;

///< 建立封裝配置。
mMuxerConfig = new KFMuxerConfig(Environment.getExternalStorageDirectory().getPath() + "/test.mp4");

FrameLayout.LayoutParams startParams = new FrameLayout.LayoutParams(200, 120);
startParams.gravity = Gravity.CENTER_HORIZONTAL;
Button startButton = new Button(this);
startButton.setTextColor(Color.BLUE);
startButton.setText("開始");
startButton.setVisibility(View.VISIBLE);
startButton.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View view) {
///< 建立解封裝與封裝。
if (mDemuxer == null) {
mDemuxer = new KFMP4Demuxer(mDemuxerConfig,mDemuxerListener);
mMuxer = new KFMP4Muxer(mMuxerConfig,mMuxerListener);
mMuxer.start();
///< 設定格式描述。
mMuxer.setVideoMediaFormat(mDemuxer.videoMediaFormat());
mMuxer.setAudioMediaFormat(mDemuxer.audioMediaFormat());

///< 迴圈讀取音影片資料寫入封裝器。
MediaCodec.BufferInfo videoBufferInfo = new MediaCodec.BufferInfo();
ByteBuffer videoNextBuffer = mDemuxer.readVideoSampleData(videoBufferInfo);

MediaCodec.BufferInfo audioBufferInfo = new MediaCodec.BufferInfo();
ByteBuffer audioNextBuffer = mDemuxer.readAudioSampleData(audioBufferInfo);
while (audioNextBuffer != null || videoNextBuffer != null) {
if (audioNextBuffer != null) {
mMuxer.writeSampleData(false,audioNextBuffer,audioBufferInfo);
audioNextBuffer = mDemuxer.readAudioSampleData(audioBufferInfo);
}

if (videoNextBuffer != null) {
mMuxer.writeSampleData(true,videoNextBuffer,videoBufferInfo);
videoNextBuffer = mDemuxer.readVideoSampleData(videoBufferInfo);
}
}
mMuxer.stop();
Log.i("KFDemuxer","complete");
}
}
});
addContentView(startButton, startParams);
}

private KFDemuxerListener mDemuxerListener = new KFDemuxerListener() {
@Override
///< 解封裝出錯回撥。
public void demuxerOnError(int error, String errorMsg) {
Log.i("KFDemuxer","error" + error + "msg" + errorMsg);
}
};

private KFMuxerListener mMuxerListener = new KFMuxerListener() {
@Override
///< 封裝器出錯回撥。
public void muxerOnError(int error, String errorMsg) {
Log.e("KFMuxer","error:" + error + "msg:" +errorMsg);
}
};
}

上面是 MainActivity 的實現,其中主要包含這幾個部分:

  • 1)設定好待解封裝的資源。

    • 中實現,我們這裡是一個 MP4 檔案。
  • 2)啟動封裝器。

    • 中實現。
    • 設定音影片格式描述。

  • 3)讀取解封裝後的音影片編碼資料並送給封裝器進行重新封裝。

    • 中實現。

4、用工具播放 MP4 檔案

完成 Demo 後,可以將 sdcard 資料夾下面的 test.mp4 檔案拷貝到電腦上,使用 ffplay 播放來驗證一下效果是否符合預期:

$ ffplay -i test.mp4

關於播放 MP4 檔案的工具,可以參考 《FFmpeg 工具》第 2 節 ffplay 命令列工具《視覺化音影片分析工具》第 3.5 節 VLC 播放器

我們還可以用 《視覺化音影片分析工具》第 3.1 節 MP4Box.js 等工具來檢視它的格式。

- 完 -

推薦閱讀
《Android AVDemo(10):影片解封裝》
《Android AVDemo(9):影片封裝》
《Android AVDemo(8):影片編碼》
《Android AVDemo(7):影片採集》
《Android AVDemo(6):音訊渲染》
《Android AVDemo(5):音訊解碼》
《Android AVDemo(4):音訊解封裝》
《Android AVDemo(3):音訊封裝》
《Android AVDemo(2):音訊編碼》
《Android AVDemo(1):音訊採集》
《iOS AVDemo(7):影片採集》
《iOS 音訊處理框架及重點 API 合集》
《iOS AVDemo(6):音訊渲染》
《iOS AVDemo(5):音訊解碼》
《iOS AVDemo(4):音訊解封裝》
《iOS AVDemo(3):音訊封裝》
《iOS AVDemo(2):音訊編碼》
《iOS AVDemo(1):音訊採集》
加我微信,拉你入群

謝謝看完全文,也點一下『贊』和 『在看』吧 ↓