音视频开发1. 基本概念及媒体协议 _音视频开发

文章插图

一、概述【音视频开发1. 基本概念及媒体协议】本系列文章主要是收集与整理音视频直播、点播、监控等技术开发及应用，狭义上可特指流媒体的技术应用。
1. 应用场景

直播
点播
语音、视频通话
监控
结合应用，如多媒体音视频会议系统

2. 相关技术

网络通讯
编码、解码
推流、拉流

3. 一些概念(1) 编解码 codec对数据或信号进行变化的设备或程序。
(2) 容器对多种媒体资源或字幕等进行包装。对数据进行容器化包装就称为封装，常见的封装格式是与文件扩展名相关的，如：*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta
(3) 采样率物理和数学概念，以一种速度提取数字信号，单位是赫兹Hz 。
(4) 分辨率通常指图像或视频的尺寸。
(5) 帧率 fps视频格式每秒钟播放的静态画面数量。
(6) 压缩对数字信号压缩体积，分为两种：

无损格式，例如WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)
有损格式，例如MP3，windows Media Audio（WMA），Ogg Vorbis（OGG），AAC

二、算法与协议1. 视频编码标准主要有：MPEG-n和 H.n 两种技术：
标准年份组织说明H.1201984ITU-T组织H.2611990ITU-T主要应用于视频会议、视频通话MPEG11993ISO ／IECVCD使用这个压缩算法H.262/MPEG-2 第二部份1995ISO ／ IEC 、ITU-TDVD影碟（DVD-Video ）、蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、SVCDH.2631996ITU-T视讯会议、视讯通话、3G 手机视讯（3GP ）MPEG41999ISO ／IECMPEG的第4个版本H.264/MPEG-4 AVC2003ISO ／ IEC 、ITU-T蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、iPod 视讯、高画质DVD（HD DVD ）H.2652013ITU
2. 主要流媒体协议名称推出机构传输层协议客户端目前使用领域劣势RTSP+RTPIETFTCP+UDPVLC, WMPIPTVRTMPAdobe Inc.TCPFlash互联网直播苹果设备不提供原生支持RTMFPAdobe Inc.UDPFlash互联网直播MMSMicrosoft Inc.TCP/UDPWMP互联网直播+点播HTTPWWW+IETFTCPFlash互联网点播实时性差、原生支持不好hls(m3u8)Applehttp浏览器直播实时性差，延迟在10秒以上，分发HLS码流低，小文件分发不是很友好
总结：