多媒体通信技术 第5章 同步.ppt

第5章 多媒体通信同步 第5章 多媒体通信同步 5.1 引言 5.2 多媒体同步控制机制 5.1 引 言 多媒体对象的同步关系抽象为以下两种类型:  (1) 媒体内的时间关系 (2) 媒体间的同步关系 5.2 多媒体同步控制机制 　　在单机环境下，引起多媒体失步的因素有：磁盘I/O速率，显示速率及处理机速度。 5.2.1 单机环境下的多媒体同步技术 1. 基于参考点的同步法 (1) 数据组织 　　 图 一种视频和音频交替存储的文件格式 (2) 同步算法 　　在这种同步算法中, 同步控制采用如下三种原子动作, 这些动作控制着动态对象的同步。 即: 　　·等待: 如果一个动态对象的演示已达到同步点而其它对象尚未到达, 则该对象需要执行一个等待动作, 例如, 冻结、 暂停视频帧等。  　　·跳过: 如果一个对象的演示需要跟上另一个对象的演示, 则该对象要执行跳过动作去演示下一个媒体单元的数据。  　　·连续跳过: 如果一个对象的演示需要连续跳过多个媒体单元到达新的同步点, 则该对象要执行连续跳过动作来增大演示速度, 这是一种加速操作。 一种基于参考点同步法的实现算法如下:  　　① 初始化, 包括测试计算机系统速度和磁盘I/O速率、 复位帧计数器、 读取媒体文件的头信息以确定帧的索引（同步）点。 　　② 对于第m帧, 先读入第m帧音频数据, 然后检测第m-1帧的音频是否播完。  　　③ 如果已经播放完, 则说明音频段比一帧图像演示得快, 需要跳过下一帧图像。 这时只需播放第m帧音频段, 而不必播放图像帧。 计数器增值后返回到第②步, 继续播放后续的帧。 ④ 如果第m-1帧音频段未播放完, 则把第m帧音频数据存放到音频输出队列中, 使其自动连续播放, 然后读入并显示第m帧图像。 计数器增值后返回到第②步, 继续播放后续的帧。  　　⑤ 如果第④步中的情况连续出现N次（经验值）, 则说明音频段比一帧视频图像演示得慢, 在演示图像帧时要适当加入延时。 基于参考点同步法的优点是:  　　·对内存的要求较低, 无需一次性将所有音频数据调入内存, 而是利用双缓冲技术实现音频数据的连续播放。  　　·在播放过程中进行快进、快退、暂停或慢放等控制操作非常方便。  　　 2. 基于参考时间线的同步法 (1) 数据组织 　　在这种同步法中, 一个多媒体影片中的音频和视频数据是分开存储的。 (2) 同步算法 　　为了保持播放速度与视频序列采集速率的一致性, 实现媒体在不同媒介上演示, 其同步准则是： 　　·设视频媒体表现在时间线上的映射为VideoRate 秒/帧, 视频的采集速率为VideoSampleRate 秒/帧, 时间差定义为t△＝VideoRate-VideoSampleRate。  　　·如果t△＞0, 则播放速度慢于采集速度, 需要丢帧; 如果t△＜0, 则播放速度快于采集速度, 需要延时; 如果t△＝0, 则播放速度等于采集速度, 正常播放。 ? 一种基于参考时间线同步法的实现算法如下:  　　① 初始化, 包括测试计算机系统速度和磁盘I/O速率等, 以确定丢帧数目和帧延时时间。  　　② 对于非正常顺序播放, 其同步控制（如暂停、 快进、 快退等）是以参考时间线的映射为基础的。重定位音频流和视频流, 也就是要定位新的视频数据起始点, 并从时间线的映射关系中找出音频流的帧起始点。设音频采样率为AudioSampleRate kHz/秒, m位编码。若从第N帧开始播放时, 音频定位点为: N×AudioSampleRate×VideoSampleRate×m/8 （字节）。 ③ 两种媒体并行地演示, 例如可采用前台和后台方式播放音频和视频数据。  　　④ 在同步点对帧进行调整, 其同步点按下式计算: 当t△＞0, 则音频速度快于视频速度, 需要视频每隔VideoSampleRate /（VideoRate-VideoSampleRate）帧跳过一帧, 以达到同步; 当t△＜0, 则音频速度慢于视频速度, 每帧视频需要延迟（VideoSampleRateVideoRate）秒; 以达到同步。 3. 基于有限缓冲器的同步法 　　 这种方法的演示过程以主设备（如音频演示设备）时钟为基准。 在演示过程中, 若从设备（如视频演示设备）媒体流的同步点超前或滞后于主设备媒体流的同步, 则对从设备媒体流施加等待或加速动作, 使从设备媒体流