cj多媒体传输流20131125.ppt

多媒体传输流 Multi media Transport stream 2013年11月 创佳 TS的产生背景(一) MPEG组织于1994年推出MPEG-2压缩标准，以实现音/视频服务与应用互操作的可能性，MPEG-2标准是针对标准数字电视和高清晰度电视在各种应用下的压缩方案和系统层的详细规定。 对应于不同的应用，符合MPEG-2标准的码流又分为传送流(TS)和程序流(PS)，本文主要讲解了传送流(TS)有关的部分数据结构，从实际应用的传送流码流中截取了部分码流做了说明，并给出了部分解析传送流码流的实例程序。 TS的产生背景(二) 在MPEG-II标准中，为了将一个或更多的音频、视频或其他的基本数据流合成单个或多个数据流，以适应于存储和传送，必须对其重新进行打包编码，在码流中还需插入各种时间标记、系统控制等信息，最后送到信道编码与调制器。这样可以形成两种数据流——传送流（TS）和程序流（PS），分别适用于不同的应用。 TS的产生目的 传送流（Transport Stream）简称TS流，它是根据ITU-T Rec.H.222.0|ISO/IEC 13818-2 和ISO/IEC 13818-3协议而定义的一种数据流，其目的是为了在有可能发生严重错误的情况下进行一道或多道程序编码数据的传送和存储。这种错误表现为比特值错误或分组丢失。 TS的组成和应用 传送流由一道或多道节目组成,每道节目由一个或多个原始流和一些其他流复合在一起，包括视频流、音频流、节目特殊信息流（PSI）和其他数据包。其中PSI表有4种类型：节目关联表（PAT）、节目映射表（PMT）、网络信息表和条件访问表。 传送流应用比较广泛，如视音频资料的保存、电视节目的非线性编辑系统及其网络等。 MPEG2 TS 流 MPEG2 TS和数字电视是紧密不可分割. ISO/IEC－13818－1：系统部分； ISO/IEC－13818－2：视频； ISO/IEC－13818－3：音频； ISO/IEC－ 13818－4：一致性测试； ISO/IEC－13818－5：软件部分； ISO/IEC－13818－6：数字存储媒体命令与控制； ISO/IEC－ 13818－7：高级音频编码； ISO/IEC－13818－8：系统解码实时接口； MPEG2 TS 流 MPEG2系统任务包括： 1. 规定以包传输数据的协议； 2. 规定收发两端数据流同步的协议； 3. 提供多个数据流的复用和解复用协议； 4. 提供数据流加密的协议。 TS的存储和传送 以包形式存储和传送数据流是MPEG2系统之要点。 ES是直接从编码器出来的数据流，可以是编码过的视频数据流，音频数据流，或其他编码数据流的统称。ES流经过PES打包器之后，被转换成PES（包化ES）包。PES包由包头和payload组成，具体格式摘录如下： PES包结构 PES包结构说明 PTS/DTS是打在PES包里面的，这两个parameters是解决视音频同步显示，防止解码器输入缓存上溢或下溢的关键。 PTS表示显示单元出现在系统目标解码器(STD: system target decoder)的时间，DTS表示将存取单元全部字节从STD的ES解码缓存器移走的时刻。每个I、P、B帧的包头都有一个PTS和DTS，但PTS与DTS对B帧都是一样的，无须标出B帧的DTS。对I帧和P帧，显示前一定要存储于视频解码器的重新排序缓存器中，经过延迟（重新排序）后再显示，一定要分别标明PTS和DTS。 ES首先需打包成PES流包，然后PES根据需要打包成PS或TS包进行存储或传输。其每路ES只包含一路信源的编码数据流，所以每路PES也只包含相对应信源的数据流。 H264视频PES(一) H264的结构从大到小依次为视频序列(sequence )、图像(picture ,相当于帧)、片组、片(slice)、宏块(MacroBlock)、子块(SubBlock)。 H264视频PES(二) 通常的一个图像里就含一种片，而且每个图像就1个slice。 ES打包成PES: 对于H264按功能层次划分，又分为视频编码层VCL(video coding layer)和网络抽象层 NAL(Network abstraction layer). 每个NAL单元包含：NAl头+负荷 NAl的头一般为00 00 01 或者00 00 00 01，然后到下一个头之间都为这一个nalu的数据。 读取H264的原始文件，然后找到nal头