一. 音频基础

1. 声音的物理性质

①振动

②波形

③频率

④振幅

2. 数字音频

• PCM技术仅仅包含采样和量化。

①采样频率

②采样、量化

③编码

• 简介：

• 频谱掩蔽效应：

• 时域掩蔽效应：

• 压缩编码方法：

3. 音频常见名词

二. 视频基础

1. 音视频录制原理

• 麦克风和摄像头采集数据。

• 规定多长时间采集的数据为一帧。

• 进行音视频处理，图像清晰度，音调高低等。

• 处理后形成处理完的队列。

• 对采样帧队列进行依次处理，编码压缩。

• 编码后，放入音视频包队列。

• 使用复用器按一定格式(mp4等)对包封装，然后放入文件。

• 时钟是共用的，目的是保证音视频同步。

2. 音视频播放原理

• 从文件读取包，并按封装的格式解析成音视频包

• 对音视频包队列中的包进行解码。

• 解码形成规定的帧。

• 对帧进行处理(高低音，亮度)，然后同步放到输出设备。

• 有时候同步控制会放到音视频处理后去做。

3. 图像基础概念

①像素

②分辨率

③位深

④帧率

⑤码率

⑥Stride跨距

4. RGB(红R、绿G、蓝B三基色)

5. YUV

①概念

②由来

③YUV采样格式

④YUV数据存储

• 基于YUV444采样的存储格式：

• 基于YUV422的存储格式：

• 基于YUV420的存储格式：

⑤RGB和YUV的转换

⑥YUV Stride对齐问题

6. 视频主要概念

三. 解复用基础

1. 封装格式的概念

2. 封装格式示例

3. 常见视频封装格式

4. 音视频同步基础