实验5 辅助驾驶系统.pdf

实验5辅助驾驶系统

一、实验目的

1.了解辅助驾驶系统应用场景。

2.了解视觉技术在辅助驾驶系统中的应用。

3.掌握基于手势识别和语音识别智能交互技术的辅助驾驶系统开发。

二、实验环境

硬件环境：PC机Pentium处理器双核2GHz以上，内存4GB以上

操作系统：Windows764位及以上操作系统、AiLab-ubuntu

开发软件：MobaXterm

实验器材：人工智能边缘应用平台

实验配件：无

三、实验内容

1.系统架构

1.1需求分析

智能辅助驾驶本质上涉及注意力吸引和注意力分散的认知工程学，主要包括网络导航、自主驾驶和

人工干预三个环节。

智能辅助驾驶的前提条件是，我们选用的车辆满足行车的动力学要求，车上的传感器能获得相关视

听觉信号和信息，并通过认知计算控制相应的随动系统。

对智能辅助驾驶技术进行分解可以看到：智能驾驶的网络导航，解决我们在哪里、到哪里、走哪条

道路中的哪条车道等问题；自主驾驶是在智能系统控制下，完成车道保持、超车并道、红灯停绿灯行、

灯语笛语交互等驾驶行为；人工干预，就是说驾驶员在智能系统的一系列提示下，对实际的道路情况做

出相应的反应。智能辅助驾驶系统的主要功能有：

1）环境信息：实现车内各种环境信息的采集和监测，包括：温湿度、光照度、空气质量、大气压

力等，并可基于相关数据联动电器设备实现智能化的环境调节。

2）疲劳检测及驾驶行为识别预警系统：利用摄像头对驾驶员的头部、面部及眼部动作等自动检测，

针对驾驶员疲劳及注意力分散等危险状态进行实时预警，并支持通过无线通讯将图像传输至云管理平台

实现远程监管和分析。

3）语音识别智能控制：当我们开车累了，我们将车子停下来只要对着麦克风发出要休息的指令，

主驾驶位的座椅会自动放倒，调整到休息模式；冬天天气冷，外后视镜受冷会起雾影响我们的正常行驶，

那么我们通过语音就可以打开后视镜加热功能，雨天我们说一声打开雨刮器，雨刮器就会自动开启。除

此之外，语音还可以控制空调的模式、风速的大小、温度的高低，以及内外循环。

随着人们生活水平的提高,对汽车的需求量也在逐年增多。汽车自动驾驶辅助系统实现的功能有自

适应巡航控制功能,前向碰撞预警功能,自动紧急刹车功能以及车道偏离预警功能等,经多次软硬件迭代,

其功能和性能均达到了较高水平。

1.2系统架构

辅助驾驶系统是一套典型的边缘应用场景，包含了硬件层、边缘层、应用层。

1）硬件层：由无线节点和Sensor-A采集类传感器、Sensor-B控制类传感器来完成一套完整的辅助

驾驶系统硬件部分。

2）边缘层：边缘计算网关内置IoT网关服务和AiCam计算引擎。IoT网关服务负责接收/下发无线

节点的数据，发送给应用端或者将数据发给云端的物联网智云平台。AiCam计算引擎内置算法、模型、

视频推流等服务，支持应用层的边缘计算推理任务。

3）应用层：应用层通过智云接口与IoT硬件层交互（默认与云端的物联网智云平台接口交互），

通过AiCam的RESTful接口与算法层交互。

智云平台

互联网互联网

边缘应用

边缘计算网关RESTful

IoT网关服务AiCam框架

无线

无线节点摄像头

Sensor-A/B麦克风

2.功能设计

2.1功能要求

本实验辅助驾驶系统主要完成了智慧物联、手势交互、语音交互、驾驶行为分析、应用设置等功能。

1）智慧物联：展示实时的车内环境、设备数据信息等。

2）手势交互：调用摄像头实时进行手势开关车内设备操作（结果连续5次一样判定为正确的手势），

1是车窗、2