基于iSCSI技术的流媒体存储系统研究.docVIP

基于iSCSI技术的流媒体存储系统研究 iSCSI/流媒体存储/组播 1 引言??????? 随着流媒体技术的发展,其应用范围在不断扩展。特别是在视频监控领域,高清网络摄像机的出现和发展,对实时视频流媒体的存储提出了新的挑战。??????? 实时流媒体存储的主要特点是以“持续写入”为主,以“随机读出”为辅,与传统的广播电视音像资料存储系统和文件系统应用有着明显的区别。??????? 基于网络的视频监控存储系统的存储介质主要由磁盘阵列和相应的控制系统组成,根据其结构,可分为直连式存储(DAS)、网络附加存储(NAS)和存储区域网络(SAN)。??????? DAS是以服务器为中心的存储系统,在视频数量较多时,其响应能力下降比较严重,在大规模流媒体存储系统中很少采用。??????? NAS是直接连接在网络上的存储系统,是一种专用的存储服务器,通常采用CIFS和NFS协议,提供文件系统服务。NAS系统具有较好的网络共享能力,部署灵活,管理简单。但在大量网络并发传输持续数据时性能可能会显著下降。??????? SAN是一种专用的存储网络系统,提供统一的块级存储,所有存储设备可以集中管理,支持完善的冗余备份功能。SAN可以是交换式网络,也可以是共享式网络。FC-SAN的最大缺点是成本昂贵,限制了它的广泛应用。iSCSI的出现,提供了低成本SAN(IPSAN),促进了SAN的应用和发展。??????? 网络视频监控系统对流媒体的存储需求特点可以概括为:大容量、高性能、高可靠性、部署灵活、低成本。研究表明,iSCSI性能要明显优于NFS/CIFS[1,2],采用iSCSI协议的IPSAN产品非常适合网络流媒体存储应用。2 iSCSI简介??????? iSCSI(internet SCSI)[3]就是SCSI Over IP,将SCSI协议封装在IP数据包中,在IP网络上传输Block级I/O数据。目的是为了用IP协议将存储设备连接在一起。通过在IP网上传送SCSI命令和数据,ISCSI推动了数据在网际之间的传递,同时也促进了数据的远距离管理。由于其出色的数据传输能力,ISCSI协议被认为是促进存储区域网(SAN)市场快速发展的关键因素之一。因为IP网络的广泛应用,ISCSI能够在LAN、WAN甚至internet上进行数据传送,使得数据的存储不再受地域的限制。??????? iSCSI协议定义了在TCP/IP网络上发送、接收Block(块)级的存储数据的规则和方法。ISCSI技术的核心是在TCP/IP网络上传输SCSI协议,用TCP/IP报文、iSCSI报文封装SCSI协议,使得SCSI命令和数据可以在普通以太网络上进行传输。iSCSI在以太网上传输的封装结构如图1所示。 ??????? iSCSI遵循SCSI协议的客户机-服务器体系结构,客户端称为Initiator(发起端),服务器端称为Target(目标端)。发起端将SCSI命令和数据封装到TCP/IP包,经过网络传输,目标端收到TCP/IP包之后,将其解包获得SCSI命令和数据并执行,完成之后将返回的SCSI命令和数据封装到TCP/IP包中再传送回发起端。整个过程对用户是透明的,使用远端的存储设备就象访问本地的SCSI设备一样。??????? Initiator可以使用软件或硬件实现,通常以软件实现,作为操作系统内核驱动的一部分,使用现有网卡和网络协议栈,通过编程实现。Windows系统自带Initiator软件,Linux系统下存在多种开源的Initiator软件,包括Core-iSCSI、Open-iSCSI、UNH-iSCSI等。??????? iSCSI Target一般指专门的连接网络的数据存储设备,也可以是运行相应Target软件的通用计算机。现在有众多的存储设备提供商可以提供商用IPSAN设备,当然也有象Openfiler、UNH-iSCSI等构建在Linux系统上的开源iSCSI Target软件。作为研究用途,软件设计人员完全可以参考iSCSI RFC文档自行开发iSCSI Target软件[4,5]。3 系统设计与实现?????? 本文研究内容是在iSCSI设备上实现实时流媒体存储,如何实现iSCSI Initiator和Target不是本文关注的重点,因此,这里选用商用IPSAN设备和Open-iSCSI开源软件作为研究的基础。?????? 在视频监控领域,目前主要存在两种使用iSCSI实现实时流存储的结构,分别是:?????? (1) 前端IP摄像机或编码器直接把码流写入IPSAN设备,如图2所示; 图2 前端IP摄像机直接把码流写入IPSAN图3 流媒体服务器接收码流然后写入IPSAN ??????? (2)