视频直播技术：一个完整的视频直播过程.pdfVIP

视频直播技术:一个完整的视频直播过程 一个完整的视频直播过程，包括采集、处理、编码、封装、推流、传输、转码、 分发、解码、播放等。 一、采集 音频采集 音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编 码的原始数据，然后编码压缩成 MP3 等格式的数据分发出去。常见的音频压缩 格式有：MP3，AAC，HE-AAC，Opus，FLAC，Vorbis (Ogg)，Speex 和 AMR 等。 图像采集 图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据， 然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有： MP4 3GP AVI MKV WMV MPG VOB FLV SWF MOV RMVB 、 、 、 、 、 、 、 、 、 、 和 WebM 等。 二、处理 视频或者音频完成采集之后得到原始数据，为了增强一些现场效果或者加上一些 额外的效果，我们一般会在将其编码压缩前进行处理。 视频：美颜、水印、路径、自定义 音频：混音、降噪、特效、自定义 三、编码 对流媒体传输来说，编码非常重要，它的编码性能、编码速度和编码压缩比会直 接影响整个流媒体传输的用户体验和传输成本。 常见的视频编码器： 1)H.264/AVC 2)HEVC/H.265 3)VP8 4)VP9 5)FFmpeg 音频编码器：Mp3,AAC等。 四、封装 把编码器生成的多媒体内容(视频，音频，字幕，章节信息等)混合封装在一起 几种常见的封装格式： 1)AVI 格式(后缀为 .avi) 2)DV-AVI 格式后缀为( .avi) 3)QuickTime File Format 格式(后缀为 .mov) 4)MPEG ( .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4 ) 格式文件后缀可以是 等 5)WMV 格式(后缀为.wmv .asf) 6)RealVideo 格式后缀为( .rm .rmvb) 7)FlashVideo 格式(后缀为 .flv) 8)Matroska 格式后缀为( .mkv) 9)MPEG2-TS 格式 (后缀为 .ts) 目前，我们在流媒体传输，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分别用于 RTMP/HTTP-FLV 和 HLS 协议。 五、推流 推流是指使用推流工具等内容抓取软件把直播内容传输到服务器的过程。 推送协议主要有三种： RTSP(RealTime Streaming Protocol)：实时流传送协议，是用来控制声音或影 像的多媒体串流协议 由, Real Networks 和Netscape共同提出的; RTMP(RealTime Messaging Protocol)：实时消息传送协议，是Adobe 公司为 Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议; HLS(HTTP Live Streaming)：是苹果公司(Apple Inc.)实现的基于HTTP 的流媒 体传输协议; RTMP是目前主流的流媒体传输协议，广泛用于直播领域，市面上绝大多数的直 播产品都采用了这个协议。 RTMP协议基于 TCP，是一种设计用来进行实时数据通信的网络协议，主要用 来在 flash/AIR 平台和支持 RTMP 协议的流媒体交互服务器之间进行音视频/ 和数据通信。支持该协议的软件包括 Adobe Media Server/Ultrant Media Server/red5 等。 它有三种变种： RTMP工作在TCP之上的明文协议，使用端口1935; RTMPT 封装在HTTP请求之中，可穿越防火墙; RTMPS类似RTMPT，但使用的是HTTPS连接; RTMP协议就像一个用来装数据包的容器，这些数据可以是AMF格式的数据, 也可以是FLV 中的视/音频数据。一个单一的连接可以通过不同的通道传输多路 网络流。这些通道中的包都是按照固定大小的包传输的。 六、传输 推送出去的流媒体需要传输到观众，整个链路就是传输网络。 七、转码 视频直播播流端的码率是根据推流端决定的，即播流端的码率是与推流端的码率