是否有探索開源鴻蒙音視頻編解碼技術(shù)的欲望？是否對開源鴻蒙音視頻編解碼格式支持有訴求？別急——今天這份開源鴻蒙AVCodec Kit介紹文章，就是解答疑惑的指南！參考這份指南，可以使用開源鴻蒙的音視頻編解碼能力，進行應(yīng)用開發(fā)；也可以參與共建，讓開源鴻蒙音視頻編解碼更加完善！

一、概述

AVCodec Kit（Audio & Video Codec Kit，音視頻編解碼，封裝解析）是媒體系統(tǒng)中的音視頻的編解碼、媒體文件的解析、封裝、媒體數(shù)據(jù)輸入等原子能力。 基于性能考慮，AVCodec Kit僅提供C接口。

1.1 功能模塊

1.2 簡易架構(gòu)圖

二、亮點/特征

2.1系統(tǒng)內(nèi)部數(shù)據(jù)零拷貝

在視頻解碼過程，AVCodec通過回調(diào)函數(shù)提供AVBuffer給應(yīng)用，由應(yīng)用將要解碼的sample數(shù)據(jù)寫入AVBuffer，在AVCodec中數(shù)據(jù)不再需要從內(nèi)存拷入硬件解碼器，而是直接送入解碼器解碼，實現(xiàn)系統(tǒng)內(nèi)數(shù)據(jù)零拷貝。

2.2視頻編碼、解碼支持硬件加速

支持H.264、H.265、H.265 10bit的硬件編解碼。

三、AVCodec Kit三大功能模塊簡介

3.1音頻編解碼

3.1.1功能簡介

音頻編碼的輸入和音頻解碼的輸出為PCM格式。

3.1.2流程圖

3.1.3流程說明

在編碼過程中，采集模塊將PCM數(shù)據(jù)通過回調(diào)函數(shù)通知應(yīng)用數(shù)據(jù)處理的情況。

完成一幀編碼，輸出編碼結(jié)果AVBuffer。

在解碼過程通過回調(diào)通知應(yīng)用輸入一幀碼流到解碼器解碼，當解碼完成也會通過回調(diào)通知應(yīng)用解碼完成。

應(yīng)用可以對數(shù)據(jù)做后續(xù)處理。

3.2視頻編解碼

3.2.1功能簡介

視頻編碼的輸入和視頻解碼的輸出支持Surface模式。

3.2.2流程圖

3.2.3流程說明

在編碼過程中，將surface數(shù)據(jù)通過回調(diào)函數(shù)通知應(yīng)用數(shù)據(jù)處理的情況。

完成一幀編碼，輸出編碼結(jié)果AVBuffer。

在解碼過程通過回調(diào)通知應(yīng)用輸入一幀碼流到解碼器解碼。

當解碼完成也會通過回調(diào)通知應(yīng)用解碼完成，應(yīng)用可以對數(shù)據(jù)做后續(xù)處理。

3.3媒體文件封裝解封裝

3.3.1功能簡介

將編碼后的音視頻數(shù)據(jù)封裝為媒體文件，將媒體文件解析為音視頻數(shù)據(jù)。

3.3.2流程圖

3.3.3流程說明

在文件封裝環(huán)節(jié)，應(yīng)用將AVBuffer送入Codec對應(yīng)的接口，執(zhí)行數(shù)據(jù)封裝。

AVBuffer可以是由上述編碼輸出的AVBuffer，也可以是應(yīng)用創(chuàng)建的AVBuffer，AVBuffer中要攜帶有效的碼流數(shù)據(jù)和相關(guān)的時間描述等信息。

在文件解封裝環(huán)節(jié)，應(yīng)用從Codec對應(yīng)的接口獲得攜帶有碼流數(shù)據(jù)的AVBuffer，該AVBuffer可以送入上述視頻和音頻編解碼對應(yīng)接口。

五、結(jié)語

AVCodec Kit使得應(yīng)用能夠直接調(diào)用系統(tǒng)提供的編解碼、封裝、解封裝能力實現(xiàn)音視頻的播放、錄制、編碼等功能。AVCodec Kit既是開發(fā)助手，也是技術(shù)展現(xiàn)的大舞臺！歡迎加入開源鴻蒙音視頻格式解碼解封裝共建，我們在開源鴻蒙開發(fā)者視頻號進行了音視頻解碼解封裝的共建賦能，歡迎開發(fā)者跟隨直播或查看回放來了解相關(guān)知識，一起參與開源鴻蒙生態(tài)建設(shè)，共建更開放、更智能的未來世界。

供稿：教育工作組 莊文琪、劉麗紅