一种新的音视频同步解决方案的研究.docx

文章编号:1005 － 2992(2014)02 － 0071 － 05一种新的音视频同步解决方案的研究宋人杰1 ，张鹏宇2 ，林本侠1(1． 东北电力大学 信息工程学院，吉林 吉林 132012;2． 中国石油华东化工销售公司，上海 200122)摘 要: 针对视频会议系统中音视频不同步问题，在现有媒体同步策略基础上，提出了一种音视频 同步综合解决方案，此方案能够避免因调整时钟对同步带来的影响，分别在发送端和接收端进行同步控 制，并进行实验验证算法的有效性。实验结果证明，此方案可以很好地完成同步控制的任务，达到音视 频的同步效果。关 键 词: 视频会议;音视频同步;时间戳 中图分类号: TP 393文献标识码: A在视频会议系统中，音视频实时同步技术是支持视频会议应用的一个关键技术。音视频的实时同 步主要解决音视频信号同步采集、压缩、传输和信息接收等问题，最终实现音频和视频的同步播放。流 媒体传输对网络带宽和传输协议有特殊的需求。音视频采集、编解码、网络传输等过程中都存在各种因 素导致音视频出现失步现象。此外，网络状态的变化给传输带来延迟抖动，造成媒体信息不能以连续的 “流”数据方式传输，特别是不能保证数据量巨大的视频信息的连续传输，从而引起媒体流内和流间的 失步［1］。本文将同步问题分为四个方面，媒体数据采集、编码压缩、网络传输、媒体表现，即从这四个方面分 别实现采集、发送、接收和播放的同步，重点研究接收端的同步控制。接收端从总体上分为两个部分:媒 体内同步和媒体间同步。在现有媒体同步策略基础上，提出一种音视频同步综合解决方案。1同步方案设计针对现有方案的不足，本文考虑到在发送端、接收端及网络状况下引起的音视频不同步，给出具体 的同步解决方案。发送端音视频同步控制，主要解决音频和视频的数据采集，对时间戳的处理以及发送码率控制的问 题。在发送端，保证音视频采集编码的同步，同时将采集的音视频帧同步发送出去并打上正确的时间 戳［2］。接收端音视频同步控制，总体上分为两大模块:媒体内同步模块和媒体间同步模块。其中媒体内同 步模块包含去抖动模块和检测模块，媒体间同步模块包含同步播放模块和反馈调整模块。媒体间同步 主要是音视频同步算法的研究与实现。针对音视频同步调整之前需要调整解码器系统时钟存在的问 题，提出了一种能够避免调整本地时钟的相对时间戳的同步控制算法，来实现音视频流同步播放的目 的，最后对算法同步前、同步后以及调整系统时钟的算法进行对比，验证算法的有效性。收稿日期: 2014 － 03 － 10作者简介: 宋人杰(1963 － ) ，女，吉林省吉林市人，东北电力大学信息工程学院教授，硕士，主要研究方向:多媒体技术．2 算法设计及实现音视频同步控制主要分为四个方面:媒体数据采集、编码压缩、网络传输、媒体表现。在这四个方面 分别实现采集同步、发送同步、接收同步、播放同步，重点对接收端的同步控制进行研究。接收端从总体 上分为两个部分:媒体内同步和媒体间同步。为了达到良好的同步效果，必须分别对各个部分采取相应 策略。2． 1发送端的音视频同步控制 (1) 发送端音视频同步控制在发送端，首先对音频数据和视频数据进行采集，然后在音频帧和视频帧上同步打上时间戳，最后 通过调整发送速率实现发送同步的处理。(1) 音频数据的采集 首先获取一段音频数据，具体流程见图 1。 (2) 视频数据的采集视频数据的处理选用“Video for Linux( 简称 V4L) ”，压缩算法采用 H． 264。V4L 提供了摄像头驱动 程序的一些基本的 open，read，write，close 等 I / O 操作的接口函数，视频采集流程见图 2。图 1 音频采集流程图图 2 视频采集流程(3) 媒体采集编码同步( 音视频时间戳的处理) 以视频为基点，事先准备好一个音频缓冲区。在采集一帧视频数据的过程中，将音频数据依次存放到音频缓冲区。一帧视频数据采集好后，将该段时间内所取得缓冲区中的所有音频数据作为一个音频 包，将这个音频包与这一帧视频相对应同步打上时间戳，然后一起编码发送，到达接收端后同时进行视 频的显示和音频的回放［3］，时间戳流程图见图 3。2． 2 接收端音视频的同步控制接收端同步主要是媒体内同步和媒体间的同步。媒体内同步，主要是在接收终端设置音频接收缓冲区;媒体间同步，主要是音视频的同步播放。 (1) 媒体内同步控制在处理媒体内同步时，很多文献对音频采用基 于播放时限的方法，即在接收端设置缓冲区，将语音 媒体单元 存 放 到 缓 冲 区，来补偿网络的时延抖动。 缓冲区设定一个门限值 M［3］，该值比预计最长抖动 时间大，M 的大小可通过公式(1) 计算:M = 2* ( dmax － dmin ) * r ， (1) 其