后端视频智能分析功能实现方案.docVIP

视频智能分析实现方案

实现的功能

在智能分析系统中，智能分析模块（嘉崎智能分析模块）从视频监控平台获取视频码流后对其进行智能分析，并将分析结果（告警信息及视频截图）上报给视频监控平台，视频监控平台将分析结果展现给客户端，整个结构如图所示。

智能分析模块需要完成如下功能：

1、实现视频分析算法，包括穿越警戒区域、进入区域检测、离开区域检测、徘徊检测、聚集检测、交通拥挤检测、非法停车检测、车辆逆行检测、单向人流量检测、双向人流量检测、物品丢失检测、物品遗留检测；

2、从视频监控平台获取压缩的视频码流，解码并进行分析。（码流格式为720P3M码流）；

3、输出视频流，其中包含规则信息和实时分析信息，平台将包含规则信息和实时分析信息的视频流转发到客户端，同时，需要提供码流的解码库，便于客户端解码展现；

4、接收智能分析规则，包括区域、阀值等参数设置；

5、将分析结果和截图上报到视频监控平台；

平台需要完成的功能：

将前端编码设备的码流转发给智能分析模块；

从智能分析模块请求视频流，并将流转发给客户端；

接收智能分析模块的分析结果和截图；

从客户端接收规则设置，将请求下发到智能分析模块；

平台可提供SDK，便于智能分析设备获取视频，解码得到YUV数据；

客户端需要完成的功能：

1、客户端提供界面，便于用户设置智能分析规则；

2、展现实时视频，包含规则信息和实时分析信息；

3、展现分析结果和截图；

4、其它功能，如报表等。

平台协议介绍

目前，前端设备与平台之间、平台与客户端之间信令协议为SIP+XML协议，媒体协议为RTP/RTCP协议，视频建立的流程如下图所示；

SIP+XML消息示例如下（平台从前端编码器获取视频编码参数）：

请求：

.161:5060SIP/2.0

Via:SIP/2.0/UD.11:5060;rport;branch=z9hG4bK921473260

From:sip:cms@

响应：

SIP/2.0200OK

Via:SIP/2.0/UD.11:5060;rport;branch=z9hG4bK921473260

From:sip:cms@.161:5060

实现方案

智能分析模块与平台整合有两种方式：1、智能分析模块实现SIP协议、RTP/RTCP协议，与平台之间通过协议方式交互；2、智能分析模块提供SDK，平台开发代理模块，完成嘉崎SDK与SIP协议的转换。本项目计划要在1月10日完成，考虑到时间进度，我们建议采用SDK方式接入。虹信和嘉崎都向对方提供相应SDK。

3.1基本流程

从前端编码器获取视频

智能分析模块调用SDK（平台为智能分析模块提供获取视频SDK），从平台获取视频流并解码得到YUV数据。

平台开始分析任务

1、客户端在界面上设置规则，通过SIP消息发给中心管理单元，然后透传给代理单元；

2、代理单元将SIP消息转换为嘉崎SDK，调用SDK向智能分析模块下发规则；

3、规则设置成功后，客户端请求开始分析任务；

4、代理单元同样将开始分析任务转换为嘉崎SDK后下发给智能分析模块；

5、智能分析模块根据的方法获取视频进行分析。

告警结果上报

1、智能分析模块对视频进行分析，将分析结果（告警信息）和图片通过SDK（嘉崎为虹信提供）回调函数告知代理单元；

2、代理单元将告警信息转换后转发给中心管理单元；

3、代理单元将图片信息转换后转发给图片管理单元；

4、客户端从中心管理单元上查看相关告警信息。

请求实时分析视频

平台向智能分析模块请求视频，视频信息中包含规则信息和实时分析信息。

1、客户端请求实时分析视频，代理单元调用SDK（嘉崎提供）下发请求给智能分析模块（接口中包含媒体分发单元的IP和端口）；

2、智能分析模块将视频打包成标准RTP数据包后发送给媒体分发单元，媒体分发单元将数据分发给客户端。

3.2虹信为嘉崎提供的接口

3.2

SDK初始化HxAgent_Initial

函数原型

intHxAgent_Initial()

函数功能

SDK初始化

参数

无

返回值

0：成功；

其它值：失败；

3.2

SDK销毁HxAgent_Destory

函数原型

intHxAgent_Destory()

函数功能

SDK销毁

参数

无

返回值

0：成功；

其它值：失败；

3.2.3

设置媒体处理回调函数HxAgent_Setmediacallback

函数原型

voidHxAgent_Setmediacallback(HxAgent_mediacallbackproc);

函数功能

设置媒体处理回调函数

参数

HxAgent_mediacallback：媒体回调函数

说明：回调函数原型为：

typedefint(*HxAgent